一、Mean Rank

方法:

对于每个评测三元组(h,r,t),移去头部实体(迭代的方式替换尾部实体)、轮流替换成词表中的其他实体,构建错误的三元组实体({h}',r,t)。利用关系函数f_r(h,t)计算头部实体和尾部实体的相似度。对于这个相似度来讲,正确的三元组的值应该比较小,而错误样本的相似度值会比较大。用关系函数对所有的三元组(包括正确的三元组和错误的三元组)进行计算,并按照升序排序。并找出所有正确三元组在该排序中的排名位置做平均。对于一个好的知识图谱表示来说,正确三元组的得分(即头部实体和尾部实体的关系函数值)会小于错误三元组的得分,排名会比较靠前。所以可以用Mean Rank的方式衡量知识图谱表示向量的好坏。

 

二、hist@10

还是按照上述进行关系函数值进行排列,然后看每个评测三元组的正确三元组是否排在排名的前10,如果在前10的话就技术+1,最终hist@10=排在前10的数量/总数量

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐