目前llama cpp官方提供的llama.cpp提供的docker 镜像下载命令:docker pull ghcr.io/ggml-org/llama.cpp:server-cuda-b6222
服务器下载速度非常的慢。

llama.cpp docker image
比较好的方法是把ghcr.io替换为国内镜像源地址ghcr.nju.edu.cn进行下载:

// 官方命令:
docker pull ghcr.io/ggml-org/llama.cpp:server-cuda

//国内源地址命令
docker pull ghcr.nju.edu.cn/ggml-org/llama.cpp:server-cuda

速度快了几十倍,非常节约时间 推荐给大家!

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐