jieba 是一个用于中文分词的 Python 库。它使用基于统计的词典分词方法,能够支持三种分词模式:精确模式、全模式、搜索引擎模式,并且支持繁体分词和自定义词典。

以下是 jieba 库的基本使用步骤:

安装

首先,你需要安装 jieba 库。如果你还没有安装,可以通过 pip 来安装:

pip install jieba

1.基本使用

  • 精确模式:试图将句子最精确地切开,适合文本分析。

import jieba  
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)  
print("Default Mode: " + "/ ".join(seg_list))  # 输出: 我/ 来到/ 北京/ 清华大学
  • 全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义。

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)  
print("Full Mode: " + "/ ".join(seg_list))  # 输出: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
  • 搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

seg_list = jieba.cut_for_search("我来到北京清华大学", cut_all=False)  
print("Search Engine Mode: " + "/ ".join(seg_list))  # 输出: 我/ 来到/ 北京/ 清华/ 华大/ 大学/ 清华大学

 2.添加自定义词典

你可以通过 jieba.load_userdict(file_name) 函数来加载自定义词典。词典的每一行是一个词,词的后面是词频和词性(可省略),用空格隔开。

例如,假设你有一个名为 userdict.txt 的词典文件,内容如下:

清华大学 1 n  
北京大学 1 n

 你可以这样加载它:

jieba.load_userdict('userdict.txt')  
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)  
print(" ".join(seg_list))  # 输出: 我/ 来到/ 北京/ 清华大学

 3.其他功能

jieba 还提供了很多其他功能,如词性标注、关键词提取、并行分词等。

注意:在使用 jieba 时,请确保 Python 环境已经正确安装并配置了 jieba 库。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐