现在有越来越多的开源模型,可以让你在自己的电脑或服务器上运行。使用本地模型有许多优势:

  • 完全离线运行,保护隐私数据安全
  • 无需支付在线 API 费用
  • 完全离线,服务稳定,无网络延迟
  • 可以自由调整和定制模型参数

下面让我们来在本地环境下学习如何部署deepseek吧。

1. 本地安装deepseek

1.1 ollama本地化部署: windows机器下载OllamaSetup.exe后直接安装

Ollama

1.2 点击Models,我们就可以看到deepseek-r1模型

点击deepseek-r1 可以看到详细内容

DeepSeek R1提供多个版本,参数量越大,模型通常越强大,但也需要更多的计算资源。

比如1.5b代表有15亿个参数。具体选择哪个模型,要根据我们的计算机配置和性能决定。

1.3 安装deepseek命令:ollama run deepseek-r1:14b       

出现success,代表安装成功。

1.4 输入一个问题,测试一下

1.5 下次如何打开deepseek.  在命令行中使用与安装时同样的命令:ollama run deepseek-r1:14b

至此,您本地的deepseek就部署好了。我们可以基于命令行的客户端进行使用了。但是如果觉得不如网页版方便的话,我们继续进行下一个步骤:安装网页端。

2. deepseek+chatbox网页端

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。本地使用Ollama部署完成后,可以使用Chatbox进行调用。

如何将 Chatbox 连接到远程 Ollama 服务:逐步指南 - Chatbox 帮助中心:指南与常见问题

2.1环境变量配置

默认情况下,Ollama 服务仅在本地运行,不对外提供服务。要使 Ollama 服务能够对外提供服务,你需要设置以下两个环境变量:

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

在 Windows 上,Ollama 会继承你的用户和系统环境变量。

1、通过任务栏退出 Ollama。

2、打开设置(Windows 11)或控制面板(Windows 10),并搜索“环境变量”。

3、点击编辑你账户的环境变量。

4、为你的用户账户编辑或创建新的变量 OLLAMA_HOST,值为 0.0.0.0; 为你的用户账户编辑或创建新的变量 OLLAMA_ORIGINS,值为 *。

点击确定/应用以保存设置。从 Windows 开始菜单启动 Ollama 应用程序。

2.2 chatbox设置

1、打开官网:https://chatboxai.app/zh,选择启动网页版。

2. 选择本地模型,如果找不到,点击左侧的设置按钮。

5、点击DISPLAY,选择简体中文,点击保存按钮。

6. 输入问题进行测试

2.3 搭配GPTs使用

1、点击左侧我的搭档

2、选择一个你喜欢的应用,本示例选择软件工程师

3 DeepSeek知识库搭建

我们还可以通过浏览器插件来访问本地部署的大模型,这个插件还支持本地知识库搭建。

1、安装插件Page Assist,搜索插件后添加至Chrome

2、选择本地搭建的模型,点击配置按钮,设置中文

 3、RAG设置,模型选择本地搭建的。

4、点击左侧管理知识,可以添加本地知识库。

填写知识标题及上传文件,点击提交按钮。

状态为已完成就可以使用了。

新建聊天进行测试,在聊天窗口要记得点击右下角知识,选择刚才搭建的知识库名称,然后在上方看到就可以了。

对模型进行测试,看看是否可以根据知识库进行回答。

我问了一下知识库中的《量子纠缠通信:未来通信的革命》 价格是多少?

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐