实验室服务器(A6000)执行curl -fsSL https://ollama.com/install.sh | sh太慢了。

而sudo snap install ollama,容易爆cudalibrt.so12无法正常使用的bug。

发现 https://www.modelscope.cn/models/modelscope/ollama-linux
使用modelscope进行ollama的下载,网速很稳定,2-3mb/s。

pip install modelscope 
modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux --revision v0.5.7

并且ollama拉取模型后,正常推理不报错。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐