ubuntu部署运行xinference全精度对话deepseek本地部署图文教程
·
前置环境搭建劳请移步往期
source activate 自己环境名启动python3.12环境安装xinference,
按教程敲命令,wheel包与wsl的通用,pip install 包名。
vllm引擎,
transform引擎也会顺带自动装上了。
后续操作请参照往期教程。
本地部署模型路径选到safetensors文件夹,
运行全精度模型,官网给的目录结构全部下载,必要文件不能少,gguf只下一个模型文件就行了。
这次加载很快,linux的优越性这就体现出来了。不用帮它加速,给我点个赞呢谢谢。

翻车了,忘了装中文输入法了。可以看到think过程没有问题,至此,windows环境,wsl环境,docker环境,linux环境下,本地部署deepseek全部实现,撒花撒花。

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)