1. 引言

最近OpenAI连续12天进行12场直播，发布新品。其中第八天介绍了ChatGPT搜索功能项全体用户开放。搜索增强大模型值得OpenAI安排一天专门介绍，和o1、ChatGPT Vision等功能同等待遇，说明其意义重大。

ChatGPT的外部搜索能力，使其不仅限于预训练的数据，而是可以实时访问和检索互联网的最新信息。这就是典型的知识增强大模型应用，通过外部知识的增强能够扩展 大模型 的能力，让其在回答问题时提供更为精准和及时的答案，特别是对于那些涉及到最近事件、新闻或需要快速更新的信息。

在这种增强功能下，ChatGPT 可以利用外部搜索引擎或数据库来查找实时数据。例如，如果你询问一个关于当前新闻事件的问题，ChatGPT 会通过搜索互联网来提供答案，而不仅仅依赖于其已有的训练数据。因为尽管GPT这样的大语言模型在许多任务中表现卓越，其在领域知识的准确性、及时性等方面仍存在许多局限性。从而这种搜索增强能力有助于提升 ChatGPT等大模型 在实际应用中的准确性和时效性，特别是在对一些较为专业或动态的知识应用上。本文是知识增强大模型应用架构的简要概述，更加详细的内容，可以参考我所撰写的即将出版的《知识增强大模型导论》一书。

2. 应用架构的设计原则

a. 集大成，避幻觉

应用架构的设计应强调集成性，避免单一模块主导全局，从而减少幻觉（hallucination）现象的发生。大模型负责基础理解，知识图谱、向量检索和搜索引擎负责结构化知识补充。多模块协同架构如同一个多层次的生态系统，稳健而高效。

b. 架构灵活，覆盖多场景

灵活性是知识增强大语言模型的核心特征。架构应适配不同的行业场景需求，从内容生成到知识问答，从智能搜索到业务推荐。通过模块化设计，用户可以根据场景选择不同的功能组合，从而提升系统的泛化能力与适配性。

c. 工欲善其事，必先利其器

实现高效的知识增强大语言模型离不开先进工具的支撑。向量检索、知识图谱和搜索引擎的引入，使得系统能够进行深度的语义理解与快速响应。

3. 知识增强大模型应用系统架构概览

知识增强大语言模型应用架构的核心思想是将外部知识以结构化或非结构化的形式注入大模型中，从而弥补模型自身知识的不足，这类似于人类学习过程中的“查阅资料”。从架构上，知识增强大模型应用系统通常将大模型作为通用知识处理的基础设施，同时结合文档搜索、数据库检索和知识图谱来注入高精度、领域化的知识内容。架构整体设计如图所示。

知识增强这种增强方式，通过检索相关信息来辅助理解和推理。具体而言，知识增强旨在解决以下几个关键问题：

a. 实时信息更新：通过搜索外部资源，大模型可以访问最新的内容，包括新闻、学术研究、市场动态等。

b. 回答精准度提高：不再局限于预训练时的信息，能够获取更全面、详细的答案。

c. 专业领域适应性：专业知识在预训练时过于稀疏，导致在实际应用中对越专业的知识表现的效果越差，而实际应用中，越专业的知识则价值越大。知识增强大模型应用能够有效跨越二者的鸿沟，实现高价值的应用。

d. 生成内容的可解释性： 使模型的推理过程更加透明和可理解。

知识来源与整合

a 公开知识：如公共数据集、开放领域的研究文献等。此部分主要是在预训练阶段被大模型所吸收，同时也可以通过通用搜索引擎（如百度、谷歌、微信搜一搜、Bing等）获取，通过提示上下文输入给大模型。

b 私有知识：利用小模型、或LoRA 技术训练，或者通过企业级搜索引擎、知识图谱等来为系注入企业专属的领域知识。私有知识的注入可通过知识图谱构建、文档管理和专家经验积累等途径实现。

关键模块设计

该架构由以下核心模块组成：

a. 数据管理：该模块负责数据的采集、导入、文档管理和数据源管理。这构成了知识增强的基础，高质量的数据是模型学习和知识库构建的关键。例如，从维基百科、专业领域数据库以及网络爬虫等渠道收集数据，并进行清洗、去重和格式转换。

b. 标注管理：包括数据集管理、语言和视觉标注、针对SFT和RLHF不同目标的样本标注、以及标注任务管理等。该模块负责对数据进行标注，包括NLP&CV标注、SFT和RLHF标注以及标注任务管理。标注的质量直接影响模型的训练效果。例如，使用人工或半自动化的方式对文本进行实体识别、关系抽取和情感分析等标注。

c. 模型管理：该模块负责商业模型对接、开源模型支持、指令微调和大模型评估。选择合适的基座模型并进行针对性的微调是知识增强的重要步骤。例如，使用预训练的LLaMA或Qwen或Deepseek等模型，并在需要的时候能够根据特定任务进行微调。提供对商业模型和开源模型的接入支持，结合模型评估技术，来进行模型选择。

d. 提示****工程：该模块负责Prompt管理、Prompt优化、Prompt推荐、少样本学习和样本自动生成。精心设计的Prompt能够有效地引导模型利用外部知识。例如，在Prompt中加入关键词或上下文信息，以提示模型检索相关的知识。针对模型的输入优化，包含Prompt生成、推荐及小样本学习（Few-shot Learning）等方法。

e. 知识建模：即知识图谱模式设计，根据专业领域或特定任务的需求设计合理的知识图谱模式，并构建出企业内部的知识体系等。通过实体类型定义、关系建模与属性定义实现领域知识的图谱化构建。

f. 大模型图谱构建与应用：支持从自然语言到SQL（NL2SQL）的映射、抽取式构建知识、任务编排及在线效果测试等功能。

g. 应用模块：包括语义搜索、对话问答、可视化交互分析及定制化应用开发。知识增强的最终目标是应用于各种实际场景，提供更智能、更可靠的服务。例如，构建基于知识图谱的问答系统，能够准确回答用户提出的问题。

h. 审核管理：在许多场景下，比如在医疗、金融、制造业等各类严肃场合，需要对数据标注、知识图谱构建等进行审核，确保知识增强大模型应用的正确性。该模块负责人工审核任务管理、审核人员管理、人工审核任务编排、GPT审核、大模型审核和审核质量报表。审核机制保障了输出内容的质量和可靠性，尤其是在处理敏感或重要的信息时。

i. 系统管理： 该模块负责账号管理、权限管理、存储管理、监控报警、统计报表、图谱管理、业务词表管理和系统设置。完善的系统管理为知识增强应用的稳定运行提供了保障。

4. 增强方法的关键技术概要

当前增强大模型，为其提供知识的主要方法有知识图谱、向量检索、搜索引擎以及和为特定业务开发业务引擎。对知识图谱的详细介绍可参阅我所撰写的技术畅销书珠峰书《知识图谱：认知智能理论与实战》一书。对向量检索、搜索引擎以及大模型如何增强知识图谱的RAG和GraphRAG等技术，可参与即将出版的《知识增强大模型导论》一书。下面简要介绍这几种技术。

4.1. 知识图谱

知识图谱是一种以图结构存储领域知识的技术，通过节点和边的方式表示实体及其关系。每个节点代表一个实体（如人物、地点、事件、概念等），而边则表示这些实体之间的关系（如“属于”、“与…有关”）。知识图谱的设计能够直观、精确地呈现复杂的领域知识，便于进行有效的推理和查询。

在知识增强大模型中，知识图谱作为一种结构化的知识表示方式，能够为模型提供高效且权威的知识支持。例如，当模型面对一个需要领域知识的查询时（如“制造XXXX产品所使用的工艺是什么？”），它可以通过查询知识图谱直接获取答案，而无需依赖语言模型生成过程中的推理。通过知识图谱，模型可以避免生成不准确的信息，提升准确性和可靠性。

4.2. 向量检索

向量检索技术依赖于将文本、图像或其他类型的数据转换为高维向量，进而在向量空间中进行相似度计算和匹配。这种方式具有高度的语义表达能力，能够捕捉到文本的深层语义关联，而不仅仅是表面文字的匹配。

向量检索的核心优势在于能够处理模糊的输入和非结构化数据。例如，面对一个不完美的提问，模型可以通过计算输入文本与数据库中各个候选项的向量距离，快速找到最相关的信息。这种技术不仅提升了模型的健壮性，还可以支持跨语言搜索等。

4.3. 搜索引擎

搜索引擎是知识增强大模型中的一个重要组件，主要负责实时获取互联网或特定领域的信息。它与知识图谱和语言模型之间形成互补关系，尤其在面对动态信息（如新闻、天气、法规更新等）时，搜索引擎能够确保模型所提供的答案是最新的和最准确的。

搜索引擎的引入极大地扩展了知识增强大模型的知识库，使得模型能够及时获取和利用最新的事实和数据。例如，用户提问关于当天新闻或特定领域最新进展的问题时，搜索引擎可以帮助大语言模型实时获取并提供答案。

4.4. 业务引擎

业务引擎是知识增强大模型中面向具体行业或应用场景的一个模块，专门处理与特定业务相关的知识。这一模块通常会结合企业的内部数据，如产品信息、客户数据、交易记录等，从而使得大语言模型能够针对特定业务场景提供精准的服务。

业务引擎的作用是将知识检索与模型推理结合，确保模型能够根据实际业务需求，提供符合行业标准和用户需求的答案。例如，电商平台的智能客服机器人需要访问商品信息、订单记录和客户数据，以便能够准确、实时地回答用户的咨询问题。

5. 应用场景与实践

知识增强大模型的应用场景遍布多个行业，以下是典型案例的解析：

5.1. 医疗领域

在医疗问答系统中，通常会通过知识图谱负责补充权威医学信息，如药物相互作用、治疗指南等，同时使用搜索引擎则用于查询与药物、医院、医生和患者有关的最新信息。通过大模型、知识图谱和搜索引擎的协同来实现精准无幻觉的应用。

5.2. 智能客服

智能客服需要快速理解用户意图并提供准确回答。通过结合向量检索和业务引擎，系统能够从海量的知识库中检索最优解答。

5.3. 金融科技

在金融科技场景中，大语言模型可辅助生成投资报告，解释复杂的金融指标，并通过知识图谱分析公司之间的关联网络，帮助用户做出更明智的决策。

5.4. 智能制造

在智能制造领域，通过将产品、产线、物料、人员、机器设备、供应链、工艺、质量管控、环境参数等构建成知识图谱，通过复杂的关系推理来为制造业归因分析、工艺优化、设备维护等提供精准的知识支撑，实现有关业务场景的智能问答。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】