python n-gram语言模型 kenlm 傻x 式安装 以及使用
·
找一台公司的linux服务器:
在服务器上依次执行以下几步:
git clone https://github.com/kpu/kenlm.git
mkdir -p build
cd build
cmake …
make -j 4
别问我为什么 ,就是可以用!!省事
安装完后直接找到预料训练的时候执行,在build文件里执行:
bin/lmplz --minimum_block 1M --vocab_estimate 100 --block_count 1 -S 10M -o 3 --verbose_header --text test1.txt --arpa douban.arpa
参数介绍:
-o n:最高采用n-gram语法
-verbose_header:在生成的文件头位置加上统计信息
–text text_file:指定存放预料的txt文件,.txt文件必须是分词以后的文件。
–arpa:指定输出的arpa文件
import kenlm
model = kenlm.Model('people_chars_lm.klm')
print(model.score('我 的',bos = False,eos = False))
print(model.score('的 微',bos = False,eos = False))
print(model.score('微 波',bos = False,eos = False))
print(model.score('波 炉',bos = False,eos = False))
print(model.perplexity('微 波 炉 好 事 吗'))
print(model.perplexity('微 波 炉 好 使 吗'))
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)