ollama 指定GPU运行
对于本地部署的deepseek，如果想要指定在某张或者某几张卡上执行的话。
·
对于本地部署的deepseek，如果想要指定在某张或者某几张卡上执行的话。
1.添加环境变量
sudo vim /etc/systemd/system/ollama.service
在[Service]下面增加一行，这里我指定只用第三张GPU，则添加
Environment="CUDA_VISIBLE_DEVICES=2"保存，退出
2.重启ollama服务
systemctl daemon-reload
systemctl restart ollama3.测试效果
ollama run 你的模型再打开一个窗口，然后执行 nvidia-smi 查看是否在指定的GPU上工作
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
4
0- 0
已为社区贡献1条内容
所有评论(0)