ollama 语法和逻辑问题

vddsk6oq 于 6个月前发布在其他

关注(0)|答案(4)|浏览(54)

使用语法影响模型的logits正变得是一种有用的技术

是否可以在ollama中实现？似乎应该是可以的
我们能得到一个例子吗？我很感兴趣，但需要一些指导，有双关意味：] ( https://github.com/guidance-ai/guidance )

我认为可能有以下几点：

一个基础模型，其中包含logits和语法代码，作为llama2的一个示例内置。但是，似乎大多数模型都应该支持这种方式，codellama可能是一个更好的选择，因为人们通常希望限制这个模型输出的内容
在基础模型上构建一些示例，展示如何添加语法和提示

ollama

来源：https://github.com/ollama/ollama/issues/1507

4条答案

按热度按时间

xzlaal3s1#

我想补充一下这个在hackernews上正在进行的讨论：Bash one-liners for LLMs,它讨论了使用llamafile。llamafile允许的一个非常好的功能是将语法作为命令行选项传递- 链接在这里，用于名称生成，这使得它非常强大：

./llava-v1.5-7b-q4-main.llamafile \
    --image lemurs.jpg --temp 0 \
    --grammar 'root ::= [a-z]+ (" " [a-z]+)+' -n 16 \
    -p $'### User: The image has...\n### Assistant:' \
    --silent-prompt 2>/dev/null |
  sed -e's/ /_/g' -e's/$/.jpg/'

赞(0）回复(0）举报 6个月前

hmmo2u0o2#

从相同的HN讨论中，有一个过时的PR关于ollama:#565

赞(0）回复(0）举报 6个月前

csbfibhn3#

更多的问题链接：#808

赞(0）回复(0）举报 6个月前

ztigrdn84#

更新的PR:#1606
基于#565,进行了一些微小的修复以将其应用于当前仓库

赞(0）回复(0）举报 6个月前

我来回答

ollama 语法和逻辑问题

4条答案

相关问题

热门标签

最新问答