本文详细介绍了本地部署大模型的必要性及具体操作流程。首先阐述了本地部署的三大优势：数据隐私保护、离线场景可用性及深度个性化改造能力。随后以Deepseek为例，分步骤讲解了通过Ollama工具下载模型、配置嵌入模型及搭建交互界面的完整过程，并提供了针对不同硬件配置的部署建议。文章强调了本地部署对个人用户、科研人员及企业的重要价值，是一份实用的技术指南。

---

首先说明一下为什么需要学习本地部署大模型？

相信很多人都刷到过“根本没必要部署本地大模型”、“得到的只是一个阉割版的人工智障”类似云云。

之前我作为以流畅使用Deepseek为目标的个人用户，在耗费小半天时间部署完Chatbox、Cheery studio和Anything LMM之后发现得到了个人工智障，同时也没有解决卡顿问题的时候。

但后来随着接触的深入和视角的转变，慢慢开始觉得本地部署对自己学习AI以及未来科研和工作过程中都是必须要接触的东西。

再回到刚才的问题：为什么要部署本地的大模型？

对于个人来说：

本地部署大模型至少有以下几点优势：

1）数据隐私的绝对控制：私人笔记/课题组保密数据等敏感信息无需上传云端，本地推理保证数据不出设备。对课题组的话可以通过本地部署构建专属知识库来管理和调用本课题组的保密数据（最近很多课题组老师都在尝试）。

2）离线场景的持续可用*：在网络受限的环境下，比如偏远地区科考、军事区域中，仍可进行文档分析、代码生成等任务。*

3）深度个性化改造：可以通过微调（Fine-tuning）优化模型在特定任务上的性能，使其能够更好地适应特定任务，比如化工模拟的科研任务。

企业自然更不必说，从最近诸多企业争先恐后在企业内部数据库中接入了Deepseek就可见一斑。

接下来就以本地部署Deepseek为例介绍一下如何将其部署到本地。

本地部署的核心流程包括：

*1）****选择能够供大模型在本地运行的工具：***包括Ollama、LM studio和Docker等工具，其中作为轻量级工具，支持Windows/Mac/Linux系统，适用于快速部署。安装后通过命令行下载模型（如ollama run deepseek），即可在本地运行；

2）
获取所需要部署的大模型：****比如Deepseek*、ChatGPT、Gemini等，这些主流的模型API可以通过硅基流动、*Hugging Face、阿里云等平台获取；

*3）***交互界面搭建：**在有模型和供模型运行的基础后，还需要搭建交互界面来与AI互动，目前用的比较多的就是刚才提到的Chatbox、Cheery studio和Anything LMM。

理解完核心流程之后开始部署：

一、首先是下载Ollama，网址在这：https://ollama.com/，下载即可。

二、下载完成后会在电脑上看到这个羊驼图表，点击启动

三、按快捷键Win+R*，输入cmd确定*

四、输入ollama run +模型名称，然后按回车键开始下载。（根据下方附图中的硬件要求选择下载一个或多个模型。此过程可能会稍慢，如果下载失败，请重新输入命令再次尝试。）

至于安装多大的模型，可以参考这个表格根据自己电脑配置选择模型

*选择好之后开始下载，*如下所示：

这里下载的是7b的蒸馏版，其余版本可以输入：

ollama run deepseek-r1:1.5b

ollama run deepseek-r1:7b

ollama run deepseek-r1:8b

ollama run deepseek-r1:14b

安装中：

五、deepseek-r1模型下载完成后，当提示“success”时，表示下载已成功完成。

其实在这个命令提示符窗口就可以运行了，比如：

但是显然这实在难以顺利交流，既没有记忆窗口，也没法实现除对话外的其他功能，所以需要交互的工具，但是在下载交互工具之前，必须要安装嵌入模型。

因为AI无法理解自然语言，必须将文本转换为向量，AI才能更好地理解和处理自然语言。

六、打开新的CMD窗口，输入命令并按回车键，下载nomic-embed-text嵌入式模型，在*命令提示符窗口输入：*ollama pull nomic-embed-text

*温馨提示：若需要删除模型，请输入命令**ollama rm +**模型名称，例如：*ollama rm deepseek-r1:14b

七、当deepseek-r1和nomic-embed-text**模型下载完成后，开始安装Chatbox、Cheery studio或者是Anything LMM软件**（三选一）

至于三款软件，可以参考下面总结进行选择：

1*、Cherry Studio：界面友好，简洁丰富，支持本地知识库，内置的“智能体”很赞，各个领域很详细很丰富很专业，比如“技术作家”、“DevOps工程师专家”、“爆款文案”、“健身教练专家”等；*

*网址：*https://cherry-ai.com/

2*、AnythingLLM：界面比较严肃，内置嵌入模型和向量数据库，本地知识库强大；*

*网址：*https://anythingllm.com/

3*、Chatbox：专注于对话式AI，比较简洁，能读文档，但不能搞本地知识库，内置“我的搭档”，少而精，比如“做图表”、“旅行搭子”、“夸夸机”、“小红书文案生成器”等。*

*网址：*https://chatboxai.app/zh

八、下载好之后从硅基流动中获取API密钥

*网址：*https://cloud.siliconflow.cn/account/ak

九、在刚才下载的Chatbox、Cheery studio或者是Anything LMM
安装模型

Cheery studio**：**

Anything LMM**：**

1）在软件设置中的 LLM首选项 界面，选择提供商为 Ollama，在 Ollama Model 中选择前面下载的 DeepSeek-R1 系列模型，点击 Save changes 保存更改。

2）在 Embedder首选项 界面，选择嵌入引擎提供商为 Ollama，在 Ollama Embedding Mode 中选择 nomic-embed-text，然后点击 保存更改。

点击工作区设置，在聊天设置界面如下设置，点击 Update workspace agent 更新工作区代理：

在代理配置界面，将 工作区代理LLM提供商 选择为 Ollama，将 工作区代理模型 选择为 deepseek-r1，点击 Update workspace agent 更新工作区代理。

至此完成。

Chatbox**：**

至此，三种UI交互模式的本地部署都已完成，可以在各自平台上开始尝试。

个人用户路线图：

写在最后：****虽然我本地部署完几乎没用过这几个，但是最近愈发觉得AI*发展，能给我们生活、科研和工作各方面带来巨大的便利，特别是开源大模型的不断迭代，能够通过本地部署来作为更加个人化的助理来处理更加隐私的事情。*

现在算是初步尝试吧，等以后换了更高配置的硬件，大模型更加智能化之后，希望能有一天能自己搭建贾维斯那样的个人管家。

大模型未来如何发展？普通人如何抓住AI大模型的风口？

※领取方式在文末

为什么要学习大模型？——时代浪潮已至

随着AI技术飞速发展，大模型的应用已从理论走向大规模落地，渗透到社会经济的方方面面。

• 技术能力上：其强大的数据处理与模式识别能力，正在重塑自然语言处理、计算机视觉等领域。
• 行业应用上：开源人工智能大模型已走出实验室，广泛落地于医疗、金融、制造等众多行业。尤其在金融、企业服务、制造和法律领域，应用占比已超过30%，正在创造实实在在的价值。

未来大模型行业竞争格局以及市场规模分析预测:

同时，AI大模型技术的爆发，直接催生了产业链上一批高薪新职业，相关岗位需求井喷：

AI浪潮已至，对技术人而言，学习大模型不再是选择，而是避免被淘汰的必然。这关乎你的未来，刻不容缓！

---

那么，我们如何学习AI大模型呢？

在一线互联网企业工作十余年里，我指导过不少同行后辈，经常会收到一些问题，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题，也不是三言两语啊就能讲明白的。

所以呢，这份精心整理的AI大模型学习资料，我整理好了，免费分享！只希望它能用在正道上，帮助真正想提升自己的朋友。让我们一起用技术做点酷事！

ps:微信扫描即可获取
加上后我将逐一发送资料
与志同道合者共勉
真诚无偿分享！！！

---

适学人群

我们的课程体系专为以下三类人群精心设计：

• AI领域起航的应届毕业生：提供系统化的学习路径与丰富的实战项目，助你从零开始，牢牢掌握大模型核心技术，为职业生涯奠定坚实基础。

• 跨界转型的零基础人群：聚焦于AI应用场景，通过低代码工具让你轻松实现“AI+行业”的融合创新，无需深奥的编程基础也能拥抱AI时代。

• 寻求突破瓶颈的传统开发者（如Java/前端等）：将带你深入Transformer架构与LangChain框架，助你成功转型为备受市场青睐的AI全栈工程师，实现职业价值的跃升。

---

※大模型全套学习资料展示

通过与MoPaaS魔泊云的强强联合，我们的课程实现了质的飞跃。我们持续优化课程架构，并新增了多项贴合产业需求的前沿技术实践，确保你能获得更系统、更实战、更落地的大模型工程化能力，从容应对真实业务挑战。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

01 大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。希望这份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

👇微信扫描下方二维码即可~

本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！

02 大模型学习书籍&文档

新手必备的权威大模型学习PDF书单来了！全是一系列由领域内的顶尖专家撰写的大模型技术的书籍和学习文档（电子版），从基础理论到实战应用，硬核到不行！
※（真免费，真有用，错过这次拍大腿！）

03 AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

04 大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

05 大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

06 全套AI大模型应用开发视频教程

（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）

---

由于篇幅有限
只展示部分资料
并且还在持续更新中…

ps:微信扫描即可获取
加上后我将逐一发送资料
与志同道合者共勉
真诚无偿分享！！！

最后，祝大家学习顺利，抓住机遇，共创美好未来！