NLP-问答系统流程

问答系统的流程如下：①获取原始文本②分词③文本清洗，包含：html标签、stop words（a,an,the等）、纠错、大小写转换等③文本标准化，比如：go, went, going, gone这一类词全部映射为go④转为向量，方法：boolean vector / count vector / tfidf / word2vec / seq2seq等⑤建模，比如把库中的内容根据相似度排序然后返回

Swayzzu

1174人浏览 · 2021-11-13 15:42:13

Swayzzu · 2021-11-13 15:42:13 发布

问答系统的流程如下：

①获取原始文本

②分词

③文本清洗，包含：

html标签、stop words（a,an,the等）、纠错、大小写转换等

③文本标准化，比如：

go, went, going, gone这一类词全部映射为go

④转为向量，方法：

boolean vector / count vector / tfidf / word2vec / seq2seq等

⑤建模，比如把库中的内容根据相似度排序然后返回结果

后面的学习笔记会对以上内容逐一探索。

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

【计算机视觉】Pixel逐像素分类&Mask掩码分类理解摘要

魔乐社区

计算机视觉（opencv）实战三十二——CascadeClassifier 人脸微笑检测（摄像头）

本文从原理到实现，详细介绍了基于 OpenCV Haar 分类器的人脸与微笑检测：讲解了 Haar 特征和级联检测原理。对代码逐行拆解并解释参数含义。画出完整流程图，帮助理解执行过程。给出了常见问题和优化建议，甚至扩展到深度学习方法。这种方法简单、轻量、实时性好，非常适合入门和小型应用项目。但如果需要更高准确率和更强鲁棒性，建议使用深度学习检测器替代 Haar 分类器。