【自然语言处理入门笔记】—— 二元语法与中文分词
·
本章学习了语言模型，为了学习语言模型参数，标注了微型语料库，在该语料库上使用极大似然估计法估计了二元语法模型的参数，捕捉了词语二元接续的统计知识，此外尝试了平滑策略缓解数据稀疏的问题，为了搜索最大概率的分词序列，将中文分词转化为有向无环图上的最短路径问题，为了高效求解词网上的最短路，学习并实现了维特比算法。此外还有模型调整的手段。但 OOV 召回仍然是 n 元语法模型的短板。
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
2
0- 0
已为社区贡献2条内容
所有评论(0)