ollama本地部署大模型
·
Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。Ollama 设计为一个框架，旨在简化在 Docker 容器中部署和管理大型语言模型的过程，使得这一过程变得简单快捷。用户可以通过简单的命令行操作，快速在本地运行如 Llama 3 这样的开源大型语言模型。
安装：
Linux下直接执行：curl -fsSL https://ollama.com/install.sh | sh
常用命令：
查看模型 ollama list
运行模型 ollama run glm4
删除模型 ollama rm glm4
创建模型 ollama create -f
退出模型 ctl+d
（1）Ollama模型库：
（2）Ollama构建自己的模型:
gguf模型库：
下载模型文件：比如： Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf
编写模型文件：Modelfile
# FROM 指定 GGUF 文件的路径
FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf
创建自己的模型：ollama create test-Llama3-8B-Chinese -f ./Modelfile
运行自己的模型：ollama run test-Llama3-8B-Chinese:latest
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
8
0- 0
已为社区贡献2条内容
所有评论(0)