ollama+autoagent操作实例
4、安装ollama，下载模型，设置配置(ollama create <name> -f <Modelfile> )litellm litellm -model ollama/<model> 得到监听端口。5、下载litellm（pip install litellm[proxy]）在autoagent内绑定端口。1、安装显卡驱动、cuda、cudnn。2、安装anaconda、建立虚拟环境。po
·
1、安装显卡驱动、cuda、cudnn
powershell内监视显卡状态
while ($true) {
cls
nvidia-smi
Start-Sleep -Seconds 2
}2、安装anaconda、建立虚拟环境
3、安装vscode
4、安装ollama，下载模型，设置配置(ollama create <name> -f <Modelfile> )
5、下载litellm（pip install litellm[proxy]）
6、编写代码
litellm litellm -model ollama/<model> 得到监听端口
在autoagent内绑定端口
运行程序
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
2
0- 0
已为社区贡献6条内容
所有评论(0)