(1)精确率。精确率(Precision)指问答方法对每个自然语言问句给出的黄金标准答案(问题对应的一个标准答案)占所有返回答案总数的比例。精确率计算公式可以形式化表示:
在这里插入图片描述

(2)召回率。一个自然语言问句可能存在多个标准答案,如:问题“杭州有那些景点?”就有多个标准答案,因此需要评测知识图谱问答方法召回完整答案的能力。召回率(Recall)表示知识图谱问答方法返回的正确答案数占返回的黄金标准答案的比例。召回率计算公式可以形式化表示为:
在这里插入图片描述

(3)准确率。准确率(Accuracy)表示知识图谱问答方法回答正确的问题数占所有问题的比例。准确率计算公式可以形式化表示为:

在这里插入图片描述

通常使用准确率定义指标Hits@K,即将答案列表按照特定值进行排序,如果前K个答案中有一个正确的则为1hit,否则为0hit,并最终计算整个问题集的平均值。

(4)F1值。通常知识图谱问答方法(系统)的总体性能使用F1值对精确率和召回率进行整体测评。测试集中的每个问题都有其对应的F1值,其计算公式可以形式化表示为:

在这里插入图片描述

[1]论兵,王月春,郝晓慧,谷斌,王会勇.知识图谱问答研究进展[J].软件导刊,2022,21(03):226-236.

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐