#导包

import os
import subprocess

#设置 CUDA_VISIBLE_DEVICES 环境变量,使用前 4 个 GPU

os.environ[‘CUDA_VISIBLE_DEVICES’] = ‘0,1,2,3’

#设置 OLLAMA_MODELS 环境变量

os.environ[‘OLLAMA_MODELS’] = ‘/root/autodl-tmp/models’

#启动 ollama 服务

process1 = subprocess.Popen([“ollama”, “serve”])

等待进程结束

process1.wait()

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐