#写在前面

deepseek在过年期间大热,一时间风头无两。笔者也研究了关于deepseek在本地部署的方式,归结为一下内容。总的来说,根据以下步骤操作,基本上都可以实现在你本地部署一个deepseek的蒸馏模型,此文展示的是7B版本的部署,如有相同需要,可用于参考。

一、借助于ollama部署

Ollama,首先进入ollama官网,Download。

笔者是在windows上部署,因此选择windows版本下载。

下载完成后运行,点击install安装。

win+r进入cmd,命令行中检查ollama是否安装成功,

输入 ollama -v ,当出现版本信息时,即为安装成功。

此时返回ollama的官网,点击Model,因为我们要部署的是7B的模型,所以我们通过ollama直接下载这个模型

选择deepseek-r1进入

将复制后的命令粘贴进刚才查询ollama版本的命令行中,回车运行即开始下载。

下载时,若下载速度下降太多,可以ctrl+c 先停止该进程,然后再重新运行上面那条命令

ollama run deepseek-r1

安装完成后即出现以下内容

此时就可以使用deepseek了。

仅在命令行使用不太方便,我们可以参考ollama提供的web-ui界面,在浏览器中安装一个扩展,就可以实现在浏览器中调用你本地部署的deepseek模型。

为了多增加点浏览量,笔者贱兮兮的打算留在下篇文章进行说明。

学习,逆水行舟、不进则退。 与君共勉。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐