1.在autodl上安装ollama

学术加速 source /etc/network_turbo

下载ollama curl -fsSL https://ollama.com/install.sh | sh (linux系统)

可能有对应依赖需要安装,安装后重新下载即可

例如:lshw sudo apt-get update sudo apt-get install lshw

检查是否安装成功 systemctl status ollama.service

若systemctl systemd 没有安装 apt-get install systemd -y apt-get install systemctl -y

重启服务 systemctl start ollama.service

由于AutoDL只能开放6006端口,所以我们要想在本地电脑访问到Ollama接口,必须手动设置

Ollama端口为6006;同时将Ollama的模型保存地址也修改到autodl-tmp文件夹下

编辑 etc/profile文件

vim /etc/profile

按g 然后按o进入编辑模式 在文件底部加上以下内容

export OLLAMA_HOST="0.0.0.0:6006"

export OLLAMA_MODELS=/root/autodl-tmp/models

按esc :wq保存并退出

输入以下命令检查是否生效

source /etc/profile

检查是否生效

echo $OLLAMA_HOST

下载模型 我这里是deepseek-r1:32b ollama run deepseek-r1:32b

成功即可对话

访问autodl6006端口需在autodl容器实例中点击快捷工具的自定义服务下载对应工具 将端口代理到本地端口实现访问

最后在dify添加模型即可

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐