我是直接在https://www.autodl.com/上购买的,
在这里插入图片描述
选择显卡,选择社区镜像,输入ollama选择,选择这个ollama base V2版本,创建。

创建完成后,ssh进入到实例里,

修改ollama模型存放位置(必做)和设置启动端口(选做,果果需要外界访问,需要修改端口号)
本地创建一个文件目录用来存放模型文件:我的是: /root/autodl-fs/ollama_file/
web界面,开机后,会显示一个对外的连接地址,里面提示需要把ollama的启动端口修改为XXXX,就可以使用连接使用了,我的是6006端口

vim ~/.bashrc

进入文件,在最后添加两行:

export OLLAMA_MODELS="/root/autodl-fs/ollama_file/"
export OLLAMA_HOST="0.0.0.0:6006"

保存退出,然后:

source ~/.bashrc

然后使用:

 echo $OLLAMA_MODELS

  echo $OLLAMA_HOST

查看是否成功,接下来就可以使用

ollama serve
或者

nohup ollama serve &

启动了

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐