使用Ollama+Chatbox AI本地部署DeepSeek R1 7b版
使用Ollama+Chatbox AI在本地笔记本电脑上运行DeepSeek R1 7b模型
最近,备受瞩目的AI大模型DeepSeek R1终于开源了。尽管官方提供了Web端和APP端的服务,但出于数据安全、二次开发等考虑,许多朋友都希望能够本地部署体验。
今天,我计划在我的笔记本电脑上运行DeepSeek R1的7b版本。
我的笔记本操作系统为Windows 11,配置如下:
CPU为Intel® Core™ Ultra 9 185H,
GPU为NVIDIA GeForce RTX 4060 Laptop GPU(显存8G),
内存容量为16GB。
此外,还配备了NPU: Intel® AI Boost以及核显Intel® Arc™ Graphics,不清楚NPU、核显和内存能否在运行大模型时得到有效利用。
我准备先尝试运行7b版本(仅需不到6G显存),后续再挑战更大的版本,以测试性能表现。
一、安装Ollama并部署DeepSeek R1 7b模型
ollama的官网是:https://ollama.com/
进入后点击Download下载,之后选择Download for Windows,即可下载Ollama的安装程序。
双击运行下载好的安装程序,点击Install即可安装。
安装完成后,Ollama就在自动运行了。
打开一个cmd终端,输入ollama,如果如下图显示,则代表安装成功
安装好后,运行以下命令:
ollama run deepseek-r1
会自动下载并运行deepseek r1 7b模型。
想要运行其他版本的模型,可以在ollama官网查找相应的命令,比如运行14b版本的命令就是ollama run deepseek-r1:14b
下载完成后,即可自动运行该大模型。
输入问题,在命令行界面大模型就会回答了。
测试了一下,回答的token生成速度很不错,而且即使是7b的小模型也有思考过程。
鉴于命令行界面在交互方面的局限性,可以采用第三方软件作为AI模型的前端交互界面。在众多可选工具中,Open-WebUI和Chatbox AI均为不错的选择。在本次部署中,我们将选用Chatbox AI作为用户交互界面,以提升操作便捷性和用户体验。
使用Chatbox AI作为交互前端
首先下载Chatbox AI,网址为https://chatboxai.app/zh#download
下载对应的Windows版即可,下载好后运行安装程序。

安装好后长这样。
接下来设置Chatbox连接Ollama的API即可,在Chatbox界面点击设置–>模型–>模型提供方,选择Ollama API,之后点击保存即可。

接下来你就可以happy地使用chatbox与deepseek模型进行对话了!


我试了一下,7b在我的设备上运行十分丝滑,快到飞起,下次试试更大规模的大模型。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)