JAVA训练nlp模型,使用斯坦福ner工具训练自己的模型
首先，你得去官网下载工具包。在stanford-ner-2018-10-16下面qa.txt是训练的原始文本。qa.tok是每一行一个单词java -cp stanford-ner.jar edu.stanford.nlp.process.PTBTokenizer qa.txt > qa.tok手动给qa.tok里的每个单词标注需要有一个austen.prop，里面会指定训练文件java -
首先，你得去官网下载工具包。
在stanford-ner-2018-10-16下面
qa.txt是训练的原始文本。qa.tok是每一行一个单词
java -cp stanford-ner.jar edu.stanford.nlp.process.PTBTokenizer qa.txt > qa.tok
手动给qa.tok里的每个单词标注
需要有一个austen.prop，里面会指定训练文件
java -cp stanford-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier -prop austen.prop
之后会生成一个ner-model.ser.gz
测试，需要一个测试文件，该文件也是每行一个单词，每个单词后面有标注
java -cp stanford-ner.jar edu.stanford.nlp.process.PTBTokenizer testQA.txt > testQA.tok
测试测试文件里的准确率
java -cp stanford-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier -loadClassifier ner-model.ser.gz -testFile testQA.tok
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献5条内容
所有评论(0)