1.默认模型及默认词典分词(默认使用预模型msra)。

import pkuseg
seg = pkuseg.pkuseg() #以默认配置加载模型
text = seg.cut('南京市长江大桥,叙利亚东古塔地区,俄外交部') #进行分词
print(text)
['南京市', '长江', '大桥', ',', '叙利亚', '东古塔', '地区', ',', '俄', '外交部']

2.设置用户自定义词典

import pkuseg
lexicon = ['东古塔', '袭击事件'] #希望分词时用户词典中的词固定不分开
seg = pkuseg.pkuseg(user_dict=lexicon)  #加载模型,给定用户词典
text = seg.cut('叙利亚东古塔地区7日发生疑似化学武器袭击事件,导致70余人丧生。俄外交部则认为,该谣言旨在袒护恐怖分子,并为外部势力发动打击寻找借口。')       #进行分词
print(text)
['叙利亚', '东古塔', '地区', '7日', '发生', '疑似', '化学', '武器', '袭击事件', ',', '导致', '70余', '人', '丧生', '。', '俄', '外交部', '则', '认为', ',', '该', '谣言', '旨在', '袒护', '恐怖', '分子', ',', '并', '为', '外部', '势力', '发动', '打击', '寻找', '借口', '。']

其它模型及实例,见链接。

链接:https://pan.baidu.com/s/13dDImHbYa6heDzCjmH8Rnw 
提取码:zt09 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐