注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】

GPT多模态大模型与AI Agent智能体系列三十二

Ollama+DeepSeek大模型+Dify+AI Agent智能体全流程拆解，小白也能3小时上手

企业内部文档散落各处、员工查资料像“大海捞针”、通用AI不懂业务细节……这些信息管理痛点，如今有了开源免费的破解方案。通过Ollama（本地部署工具）+DeepSeek（国产大模型）+Dify（AI开发平台）的组合，即使是技术小白，也能在3小时内搭建起专属本地知识库，让企业私有数据“活”起来，实现“提问即得答案”的智能效率。

一、为什么企业必须拥有本地知识库？

当企业积累了成千上万份项目文档、产品手册、流程规范后，隐藏的“信息孤岛”问题会愈发刺眼：

• 新员工想了解某产品参数，需在10个文件夹中翻找2小时；
• 客服回复客户咨询时，因记错政策细节导致解答错误；
• 管理层做决策时，难以快速调取历史数据支撑分析……

通用大模型虽能对话，却无法接入企业私有数据，而传统文档管理系统又缺乏“理解语义”的智能。本地知识库的核心价值正在于此：将企业数据转化为“可对话的资产”，让AI既能理解业务术语，又能精准调用内部资料，实现“问即有答、答即精准”。

二、三大工具分工：从部署到应用的全链路支撑

这个开源组合的强大之处，在于工具间的“无缝协作”——每个组件都专注解决一个核心问题，最终形成闭环。

1. Dify：AI应用的“可视化搭建平台”

作为整个系统的“操作中枢”，Dify的核心功能是降低AI应用开发门槛：

• RAG管道技术：自动将上传的文档拆解、编码，让AI回答时优先调用私有资料；
• 多模型兼容：不仅支持DeepSeek，还能接入Ollama管理的其他开源模型（如Llama、Qwen）；
• 零代码配置：通过鼠标点击即可完成知识库关联、对话参数调整等操作，无需编写代码。

其架构分为模型层、数据处理层、应用层，像“搭积木”一样让企业按需组合功能。

2. DeepSeek：中文场景的“高效能引擎”

作为国产大模型的代表，它解决了通用模型在专业领域的“水土不服”：

• 中文优势：在中文语义理解、专业术语处理上得分达91.5%，远超部分海外模型；
• 成本可控：API调用成本低至0.5元/百万tokens，本地部署后更是省去云端费用；
• 推理提速：相比传统架构，响应速度提升5倍，确保对话时不卡顿。

对于制造业、医疗等有大量中文技术文档的行业，这种“懂行”的能力至关重要。

3. Ollama：本地部署的“简化神器”

它的作用是让企业摆脱对云端的依赖：

• 一键运行模型：通过简单命令即可在个人电脑或服务器上启动DeepSeek等大模型，无需配置复杂环境；
• 私有化保障：数据全程在企业内网流转，避免敏感信息泄露风险；
• 轻量兼容：支持Windows、Linux等系统，普通服务器即可承载，无需天价GPU集群。

三、3小时搭建全流程：从0到1部署指南

第一步：部署Dify（约60分钟）

1. 安装Docker
   作为容器化工具，Docker能统一运行环境。在官网下载Docker Desktop后，按提示安装（Windows系统需开启Hyper-V功能，可能需要重启）。

2. 配置Dify环境

   • 从Github下载Dify项目压缩包（地址：https://github.com/langgenius/dify），解压后进入“docker”文件夹；
   • 将“.env.example”文件重命名为“.env”，用于后续配置；
   • 在文件夹内打开终端，输入命令“docker compose up -d”启动服务。

   若出现下载缓慢，可在Docker设置中添加镜像源（如“https://dockerpull.org”）加速。

3. 完成初始化
   在浏览器输入“http://localhost/install”，设置管理员账户后登录，即可进入Dify主界面。

第二步：关联本地大模型（约30分钟）

1. 配置Ollama连接
   打开Dify的“.env”文件，在末尾添加两行代码：

   CUSTOM_MODEL_ENABLED=true  
   OLLAMA_API_BASE_URL=host.docker.internal:11434  
   

   让Dify能访问本地运行的Ollama服务。

2. 添加DeepSeek模型

   • 登录Dify后，点击右上角“设置→模型供应商→Ollama→添加模型”；
   • 填写模型名称（如“deepseek-chat”）及描述，保存后刷新页面。

3. 设置系统模型
   在“模型供应商”页面点击“系统模型设置”，将新增的DeepSeek设为默认模型，确保对话时优先调用。

第三步：创建知识库与智能应用（约60分钟）

1. 搭建私有知识库

   • 进入Dify主界面，点击“知识库→创建知识库”，上传企业文档（支持TXT、PDF、Word等格式）；
   • 选择Embedding模型（用于将文本转为可检索的向量），点击“保存并处理”。

   系统会自动拆解文档、生成索引，过程耗时取决于文件大小（100页文档约需5-10分钟）。

2. 制作对话应用

   • 点击“创建空白应用→聊天助手”，输入应用名称（如“企业手册问答”）；
   • 在右侧“知识库”选项中，勾选刚创建的知识库，完成关联；
   • 调整参数（如“回答长度”“相似度阈值”），让AI更贴合需求。

3. 测试效果
   在对话框中输入问题（如“产品A的保修政策是什么？”），AI会自动从上传的文档中提取答案并回复。对比测试显示：启用知识库后，回答准确率从通用模型的62%提升至94%。

四、三大核心场景：让知识库成为生产力工具

1. 企业内部文档管理

某制造企业将2000页设备手册上传后，新员工无需培训即可通过提问获取操作指南：

• 问“如何更换DN50阀门密封圈？”，AI会附上步骤+配图；
• 问“设备保养周期”，直接调取手册第3章内容作答。
  员工查询效率提升80%，培训成本降低60%。

2. 智能客服升级

电商企业将售后政策、常见问题上传后，客服可通过AI快速响应客户：

• 客户问“退货需要哪些凭证？”，AI自动引用最新售后条款；
• 客户投诉“物流延迟”，系统联动订单数据给出解决方案。
  客户满意度提升35%，人工介入率下降52%。

3. 个人知识助理

科研人员将论文、实验笔记上传后，可实现“跨文档联想”：

• 问“实验数据异常可能的原因”，AI会结合3篇相关笔记分析；
• 问“某公式的推导过程”，直接调取扫描版笔记中的手写内容。

五、为什么这个组合值得尝试？

相比付费SaaS工具或自研系统，Ollama+DeepSeek+Dify的优势体现在三个方面：

• 成本归零：三大工具均为开源免费，仅需承担服务器硬件费用；
• 数据安全：所有文档和对话均在本地存储，符合医疗、金融等行业的合规要求；
• 灵活迭代：可随时增减文档、切换模型，无需依赖服务商更新。

正如测试用户反馈：“以前找一份合同模板要翻3个硬盘，现在问一句就出来，这才是真正的效率革命。”

对于想低成本启动智能化的企业，这个组合堪称“最佳跳板”——无需专业AI团队，只需按步骤操作，就能让沉睡的文档变成“随叫随到的专家”。现在打开电脑，3小时后，你的企业也能拥有专属智能知识库。

更多技术内容

更多技术内容可参见
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】书籍。
更多的技术交流和探讨也欢迎加我个人微信chenjinglei66。

总结

此文章有对应的配套新书教材和视频：

【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

【配套视频】

清华《GPT多模态大模型与AI Agent智能体》书籍本章配套视频【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏
揭秘 DeepSeek、Sora、GPT-4 等多模态大模型的技术底层逻辑，详解 Transformer 架构如何突破传统神经网络局限，实现长距离依赖捕捉与跨模态信息融合。
对比编码预训练（BERT）、解码预训练（GPT 系列）及编解码架构（BART、T5）的技术差异，掌握大模型从 “理解” 到 “生成” 的核心逻辑。
实战驱动，掌握大模型开发全流程
提示学习与指令微调：通过 Zero-shot、Few-shot 等案例，演示如何用提示词激活大模型潜能，结合 LoRA 轻量化微调技术，实现广告生成、文本摘要等场景落地（附 ChatGLM3-6B 微调实战代码）。
人类反馈强化学习（RLHF）：拆解 PPO 算法原理，通过智谱 AI 等案例，掌握如何用人类偏好优化模型输出，提升对话系统的安全性与实用性。
智能涌现与 AGI 前瞻，抢占技术高地
解析大模型 “智能涌现” 现象（如上下文学习、思维链推理），理解为何参数规模突破阈值后，模型能实现从 “量变” 到 “质变” 的能力跃升。
前瞻通用人工智能（AGI）发展趋势，探讨多模态模型（如 Sora）如何推动 AI 从 “单一任务” 向 “类人智能” 进化，提前布局未来技术赛道。

上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄