本地dify调用autodl服务器上的ollama实现运用deepseek-r1 32b
若systemctl systemd 没有安装 apt-get install systemd -y apt-get install systemctl -y。访问autodl6006端口需在autodl容器实例中点击快捷工具的自定义服务下载对应工具 将端口代理到本地端口实现访问。下载模型 我这里是deepseek-r1:32b ollama run deepseek-r1:32b。检查是否安装成
1.在autodl上安装ollama
学术加速 source /etc/network_turbo
下载ollama curl -fsSL https://ollama.com/install.sh | sh (linux系统)
可能有对应依赖需要安装,安装后重新下载即可
例如:lshw sudo apt-get update sudo apt-get install lshw
检查是否安装成功 systemctl status ollama.service
若systemctl systemd 没有安装 apt-get install systemd -y apt-get install systemctl -y
重启服务 systemctl start ollama.service
由于AutoDL只能开放6006端口,所以我们要想在本地电脑访问到Ollama接口,必须手动设置
Ollama端口为6006;同时将Ollama的模型保存地址也修改到autodl-tmp文件夹下
编辑 etc/profile文件
vim /etc/profile
按g 然后按o进入编辑模式 在文件底部加上以下内容
export OLLAMA_HOST="0.0.0.0:6006"
export OLLAMA_MODELS=/root/autodl-tmp/models
按esc :wq保存并退出
输入以下命令检查是否生效
source /etc/profile
检查是否生效
echo $OLLAMA_HOST
下载模型 我这里是deepseek-r1:32b ollama run deepseek-r1:32b
成功即可对话
访问autodl6006端口需在autodl容器实例中点击快捷工具的自定义服务下载对应工具 将端口代理到本地端口实现访问
最后在dify添加模型即可
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)