添加lora&羊驼模型的正确说明

[ziwang-com]

ggml-org/llama.cpp#382

添加使用羊驼模型的正确说明 #382
打开
格尔加诺夫打开了这个问题 on Mar 22 ·21 评论
评论
@ggerganov
所有者
格尔加诺夫评论 on Mar 22 •
所以我正在查看 https://github.com/antimatter15/alpaca.cpp，我看到他们已经运行 30B 羊驼模型，而由于最近的分词器更新，我们正在努力运行 7B。

我还看到这些模型现在甚至漂浮在拥抱脸上 - 我想许可证问题不再是问题？

我们应该添加获取羊驼模型的详细说明，以及如何使用以下脚本使模型与最新版本兼容的临时说明：master

#324 （评论）

更大的问题是人们不断生成旧版本的模型，而不是迁移到最新的更改。因此，我们现在需要这个额外的转换步骤。最好弄清楚生成羊驼模型的步骤并以正确的格式生成它们。ggmlllama.cpp

编辑：只是不要发布模型的直接链接！

Botchi09、Kawashirov、Plusv、Lolxdmainkaisemaanlu、Syndimann、Green-Sky、Loretoparisi、esstee8、rmallof、redthing1 等 10 人都用竖起大拇指表情符号做出了反应
@ggerganov 格格尔加诺夫补充道文档 文档的改进或补充寻求帮助 需要格外注意好第一期 适合新移民高优先级 非常重要的问题🦙. 骆马标签 on Mar 22
@madmads11
madmads11 评论 on Mar 22 •
以下是我用llama.cpp在我的系统上运行Alpaca 30b所做的。我认为它也适用于 Alpaca 13b。

从头开始下载并构建骆驼.cpp因为需要最新版本来指定模型在 1 个文件中，其中包含新参数--n_parts 1
下载了这个 30b 羊驼模型 https://huggingface.co/Pi3141/alpaca-30B-ggml/tree/main（如果您查看模型卡，您可以找到其他羊驼模型尺寸的链接）
将文件命名并放置在美洲驼内的 /models/Alpaca/30b 中.cppggml-alpaca-30b-q4.bin
下载了此处提到的脚本：自 PR #252 #324 以来模型的重大更改（评论）
将其命名为 convert.py 并将其放置在llama.cpp的根文件夹中。
下载了这里提到的分词器：自 PR #252 #324 以来模型的重大更改（评论）
将 tokenizer.model 文件放在 /models 中
从 llama 的基本文件夹在命令提示符下运行.cpp（我个人收到我需要该模块的消息，所以我写了，然后我重新运行并且它起作用了。您可能会也可能不会遇到此错误。python convert.py models/Alpaca/30b models/tokenizer.modelsentencepiecepip install sentencepiecepython convert.py models/Alpaca/30b models/tokenizer.model
在 30b 文件夹中，现在有一个和一个文件，我重命名为 以将其保留为备份，并ggml-alpaca-30b-q4.binggml-alpaca-30b-q4.bin.tmpggml-alpaca-30b-q4.binggml-alpaca-30b-q4.bin.oldggml-alpaca-30b-q4.bin.tmpggml-alpaca-30b-q4.bin
现在我可以运行骆驼.cpp与../main -m ./models/alpaca/30b/ggml-alpaca-30b-q4.bin --color -f ./prompts/alpaca.txt -ins --n_parts 1
也许这对其他渴望设置它的人都有临时帮助。如果我犯了任何错误，请纠正我，我从记忆中追溯写了它。