1 概述

以往我们使用的文本切分方式，都是基于特定字符、或者特定长度的，而完全不考虑语义，这未免有点奇怪，而且从实践经验来看，使用特定字符或特定长度的切分方式，导致片段语义不连贯是非常明显的一个问题。

langchain-experimental库中有一个SemanticChunker，可以将句子转换为向量，并计算不同向量之间的相似性，来决定是否需要切分，由于向量可以代表句子的语义，因此这样切分也是语义切分。

langchain-experimental库的实现，来自另一位作者（后文称原作者）：https://github.com/FullStackRetrieval-com/RetrievalTutorials/blob/main/tutorials/LevelsOfTextSplitting/5_Levels_Of_Text_Splitting.ipynb。

2 原理

SemanticChunker的切分原理是这样的，例如使用正则表达式，将原始文本切分后得到了一系列句子：

\[sentence\_1, sentence\_2, sentence\_3, sentence\_4, sentence\_5, sentence\_6, sentence\_7, sentence\_8, sentence\_9, ...\]  

原作者共提出了两种方法：

• 带位置奖励的层次聚类：例如将上面的那些句子，每个都分别计算Embedding，然后对这些Embedding进行层次聚类。但作者提到有些特别短的句子，切分开可能会导致语义的改变，例如“But because I chose to split on sentences, there was an issue with small short sentences after a long one. You know?”，最后面的“You know?”就是特别短的句子，单独切开计算相似度显然不合适。所谓的位置奖励就是，将更可能挨在一起的句子在切分时给予一定的奖励。但作者提到，这种方法调参会很慢而且不是最优的（slow and unoptimal），神奇的是我们使用这种方法切分取得了很好的效果。

• 在连续句子中寻找切分点：这种想法很好理解，就是对每个句子计算Embedding，然后分别计算相邻句子的距离（1-余弦相似度），当这个距离突破特定阈值时，则在此处切开，例如上面的sentence_1、sentence_2、sentence_3，之间的距离都比较近，而sentence_3与sentence_4距离比较远，则在sentence_3和sentence_4之间增加切分点，最终就会把1、2、3分成一个切片。这样理解比较直观，但实际操作时会发现噪音比较大，因此作者采用了滑动窗口的方式，相当于做了“平滑处理”，窗口大小保留为3，发现效果不错。

注意：窗口大小为3，对应下面介绍的代码中SemanticChunker构造函数中buffer_size=1，因为会向前、后各取buffer_size个句子。

如此操作完之后，将横轴记为句子的index，纵轴为句子距离，就得到了下面的图：

然后将显著大于正常距离的点，作为切分点，就可以得到如下的切分位置，以及切片。

至于怎样的距离算显著，langchain-experimenal中提供了4种方法：

• percentile：分位数切分法，默认切分方法，也是原作者所使用的切分方法，这种方式也最好理解，percentile的默认值设置为95，意味着距离大于等于95分位数的地方，增加切分点，95分位数就是所有距离从小到大排列，分为100份，第95份的那个数

• standard_deviation：标准差偏离法，也是统计学中表示偏离正常的常规方法，这种方法比较适合正态分布，切分点的值大于等于“距离的均值+3*距离的标准差”，3是代码中standard_deviation的默认值，也是最常用的值

• interquartile：四分位距法，是统计学中表示偏离的另一种常规方法，这种方法计算分位数，所以数据分布不那么正态问题也不大，切分点的值大于等于“距离的均值+1.5*距离的四分位距”，其中1.5是代码中的默认值，也是最常用的值，距离的四分位距的计算，首先将所有距离由小到大排列分成100份，在第25份的位置记为q1（下四分位），第75份的位置记为q3（上四分位），四分位距=q3-q1，因为用了两个四分位的距离，所以叫四分位距

• gradient：梯度法，这种方式稍微难理解一些，它首先计算了所有距离的梯度（对于这个场景其实是一阶差分，因为是离散值），梯度计算出来后，就可以知道哪个地方距离变化得快，然后选择所有梯度95分位的位置作为切分点，95是代码中的默认值。这个方法背后对应的道理是，句子之间的距离是有增有降的，那在增加的过程中，如何找准时机呢，那我一定要在猛增的那个点进行切分，其实跟k-means使用肘方法来确定类簇数量，想法是一样的

3 效果

从下图可以看出，使用Embedding的方式进行切分，对相邻片段使用层次聚类的切分效果最好，超过了Baseline（基础流程）。

4 核心代码

本文对应的代码已开源，地址在：

https://github.com/Steven-Luo/MasteringRAG/blob/main/split/02_embedding_based_sementic_splitter.ipynb

使用Embedding的切分，核心代码非常简单，准备好Embedding模型和要切分的文档后，两行代码就能搞定：

from langchain\_experimental.text\_splitter import SemanticChunker  
  
\# 准备向量模型：使用本地模型  
from langchain.embeddings import HuggingFaceBgeEmbeddings  
import torch  
  
embeddings = HuggingFaceBgeEmbeddings(  
    model\_name='BAAI/bge-large-zh-v1.5',  
    model\_kwargs={'device': device},  
    encode\_kwargs={'normalize\_embeddings': True},  
    \# show\_progress=True  
    query\_instruction='为这个句子生成表示以用于检索相关文章：'  
)  
\# 或者，使用接口，请配置好API\_KEY，确保网络可访问  
from langchain.embeddings import OpenAIEmbeddings  
embeddings = OpenAIEmbeddings()  
  
\# 读取文档  
import os  
text = open(os.path.join(os.path.pardir, 'outputs', 'MinerU\_parsed\_20241204', '2024全球经济金融展望报告.md')).read()  
  
\# 使用Embedding模型进行切分  
text\_splitter = SemanticChunker(  
    embedding\_model  
)  
docs = text\_splitter.create\_documents(\[text\])  

特别注意：SemanticChunker这个切分器默认的参数，是为英文优化的，在中文上直接使用的话，是不work的，下面介绍一些重要的参数，以及在中文环境下要注意的点。

4.1 注意切分的正则表达式

SemanticChunker的构造器如下：

class SemanticChunker(BaseDocumentTransformer):  
    """Split the text based on semantic similarity.  
  
    Taken from Greg Kamradt's wonderful notebook:  
    https://github.com/FullStackRetrieval-com/RetrievalTutorials/blob/main/tutorials/LevelsOfTextSplitting/5\_Levels\_Of\_Text\_Splitting.ipynb  
  
    All credits to him.  
  
    At a high level, this splits into sentences, then groups into groups of 3  
    sentences, and then merges one that are similar in the embedding space.  
    """  
  
    def \_\_init\_\_(  
        self,  
        embeddings: Embeddings,  
        buffer\_size: int = 1,  
        add\_start\_index: bool = False,  
        breakpoint\_threshold\_type: BreakpointThresholdType = "percentile",  
        breakpoint\_threshold\_amount: Optional\[float\] = None,  
        number\_of\_chunks: Optional\[int\] = None,  
        sentence\_split\_regex: str = r"(?<=\[.?!\])\\s+",  
        min\_chunk\_size: Optional\[int\] = None,  
    ):  
    ...  

构造函数中有一个参数sentence_split_regex，用于先将文本切分成片段，从源代码中可以看出，它默认是对英文的句号、问号、感叹号进行切分的，而且是对比较规范的英文行文，也就是这三种标点后还跟空白字符的，对于中文，是无法正常切分的，使用中文时，首先要将这个正则表达式替换成能切分中文的，例如下面这样：

sentence\_split\_regex=r"\[。！？\\n\]+"  

4.2 使用buffer_size控制窗口大小

原作者的实现，采用滑动窗口实现，上面在原理部分已经提到过，buffer_size来控制当前句子前、后各取几个句子组成一组来计算Embedding以及相似度。

4.3 注意最小切片大小

另一个要注意的点是min_chunk_size参数，不同于RecursiveCharacterTextSplitter这种从大向小切的方法，SemanticChunker是从一个个句子“合并”为大片段的，这就意味着如果一开始使用正则表达式切分后的句子很短，而它恰好又达到了切分的条件，最终会得到一些非常短的片段。

4.4 注意观察切片后的大小

使用SemanticChunker有时候可能会得到非常大的切片，远远超过了向量模型的长度限制，当然也可以换支持更大长度的向量模型，但句子太长其中的信息会被稀释，也未必一定会带来正向收益。原作者在Semantic Chunking的最后部分提到，可以对较大的进行二次切分，在我的样例代码中也包含了这部分，但并未带来正向收益，欢迎大家积极探索。

4.5 使用层次聚类

使用层次聚类是通过将number_of_chunks赋值为一个具体数字来控制的，而不是一个布尔值，使用方式类似如下：

\# 创建向量模型 embedding\_model  
\# 读取文档 text  
\# 设置最终需要的切片数量 number\_of\_chunks为一个正整数  
  
text\_splitter = SemanticChunker(  
    embedding\_model,  
    number\_of\_chunks=number\_of\_chunks  
)  
docs = text\_splitter.create\_documents(\[text\])

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】