ollama本地运行llama3:70b模型（Linux）
【代码】ollama本地运行llama3:70b模型（Linux）
·
1.下载ollama
# 下载ollama
curl -fsSL https://ollama.com/install.sh | sh
# 运行ollama（重新打开一个终端去运行ollama run llama3:70b）
ollama serve
2.运行llama3:70b模型（最低要求64G运存+24G显存）
ollama run llama3:70b3. 运行网页端（open-webui）
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献4条内容
所有评论(0)