ollama 部署自己微调过的.safetensors模型
·
ollama已经支持safetensors类型直接导入，不需要再转换成GGUF
Modelfile文件
需要一个Modelfile控制导出参数
Modelfile：
FROM .
TEMPLATE """<｜begin▁of▁sentence｜>{{ if .System }}{{ .System }}{{ end }}{{ range .Messages }}{{ if eq .Role "user" }}<｜User｜>{{ .Content }}<｜Assistant｜>{{ else if eq .Role "assistant" }}{{ .Content }}<｜end▁of▁sentence｜>{{ end }}{{ end }}"""
PARAMETER stop "<｜end▁of▁sentence｜>"
PARAMETER num_ctx 4096
Parameter是模型使用时的参数，可用参数如下，有默认值，如果有需求可以自行修改
除了Parameter还有Template、system等参数可以参考：Modelfile 说明文档
ollama/docs/modelfile.md at main · ollama/ollama · GitHub
ollma导入模型
然后启动cmd操作ollama，输入：
cd 你的模型位置
ollama create 你的模型名称 -f Modelfile报错情况：
1、Modelfile文件中不要有中文，不然会报错Error: EOF
2、Error: llama runner process has terminated: error loading model: unable to allocate CUDA0 buffer。这是显存不够了
nvidia-smi查看显存使用情况
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
4
0- 0
已为社区贡献1条内容
所有评论(0)