论文浅尝 | 基于提示的知识图谱基础模型用于通用上下文推理（NeurIPS2024）

本文介绍了一种基于上下文学习的知识图谱基础模型（KG foundation model），以提高知识图谱推理的有效性和可迁移性。具体来说，引入了提示图（prompt graph）和统一分词器（unified tokenizer）作为不同知识图谱之间知识转移的桥梁。本文提出了提示图生成模块、提示编码模块和知识图谱推理模块，以实现上下文学习并在43个不同的知识图谱上进行了归纳性和演绎性设置下的上下文推

小敢摘葡萄

1119人浏览 · 2025-01-06 11:41:31

小敢摘葡萄 · 2025-01-06 11:41:31 发布

笔记整理：王泽元，浙江大学博士生

论文链接：https://arxiv.org/pdf/2410.12288

发表会议：NeurIPS 2024

1. 动机

大量的知识图谱已经被构建来促进各种场景中的知识驱动任务。然而现有的知识图谱推理模型通常为不同的知识图谱开发独立的推理模型，缺乏跨不同知识图谱和推理设置进行知识泛化和迁移的能力，并且往往针对静态的知识图谱，并且在归纳性设置下处理新实体或关系时缺乏泛化能力。尽管最近的研究开始考虑已见与未见实体之间的关系模式，以支持归纳性推理，但这些方法仍然存在局限性，比如依赖于昂贵的事先标记对齐、局限于相似的模式等，从而限制了它们在跨越多个领域知识图谱中的鲁棒通用性。基于以上问题，本文提出了一个基于提示的知识图谱基础模型（KG-ICL），通过上下文学习来提高KG推理的有效性和可转移性。该模型旨在实现跨不同KG的通用推理能力，包括引入了提示图（prompt graph）和统一的分词器作为不同KG之间知识转移的桥梁，并设计了提示图生成模块、提示编码模块以及KG推理模块来达成这一目标。实验结果表明，所提出的模型在多样化的KG上展现了优秀的泛化能力和通用推理能力。

2. 贡献

本文的主要贡献有：

（1）一个上下文知识图谱推理基础模型。它促使预训练模型在多样化的知识图谱上进行关系推理。

（2）一种作为上下文的提示图来支持上下文学习。它包含关于查询关系的一个示例事实及其相关的子图和路径。通过使用了一个统一的分词器，本文将提示图中的实体和关系映射到预定义的标记。

（3）两种消息传递网络用于提示图编码和知识图谱推理。该基础模型还可以在特定的知识图谱上进一步微调，以获得更好的性能。

3. 方法

KG-ICL利用提示图生成 (Prompt Graph Generation) 构建一个能够帮助理解查询关系的上下文环境。针对给定的查询关系q，从知识图谱中随机选取一些与q相关的事实作为示例。对于每个选定的示例事实，从知识图谱中提取出包含该事实及其相邻节点的子图，形成一个提示图。这样构造的提示图不仅包含了直接相关的实体和关系，还包括了它们周围的局部结构信息。

为了处理未见过的实体和关系，本文利用统一分词器将提示图中的实体和关系映射到预定义的标记上。对于每个实体 e，基于它与示例事实中的主体 u 和客体 v 之间的最短路径长度进行标记。具体来说，实体会被标记为 [dist(u,e),dist(v,e)] 的形式，其中 dist(⋅) 表示两个实体间最短路径的长度。这样做的好处是可以根据实体相对于查询上下文的位置来对它们进行编码，而不仅仅是依赖于具体的实体标识。对于每个关系 r，判断它是否与查询关系 q 相同，并据此进行标记。如果 r 等同于 q，则标记为 [1]，否则标记为 [0]。这种方式有助于区分查询相关的关系和其他关系，从而增强模型对特定查询的理解能力。统一分词器通过对实体和关系应用一套一致的标记规则，帮助模型构建了一个更加通用且灵活的表示空间，从而支持了更广泛的推理任务。

本文通过消息传递机制来编码提示图，并执行知识图谱上的推理任务。利用多层的消息传递神经网络更新提示图中各节点（实体和关系）的表示。每层消息传递后都会更新一次实体和关系的嵌入向量，直到达到预定层数。基于前面获得的提示表示初始化新的实体和关系表示，然后再次使用消息传递神经网络进一步优化这些表示。最后，通过推理模块计算候选答案的得分，以完成最终的预测任务。

KG-ICL模型的预训练目标是通过最小化一个多类对数损失函数来实现的，该损失函数旨在提高正样本事实的得分同时降低负样本的得分。

预训练目标的数学表达如下：

通过最小化上述损失函数，预训练过程鼓励模型给出更高的分值给正确的三元组，同时给予错误的或随机选择的三元组较低的分值。这有助于模型学会区分正确的关系与不正确的关联，从而增强其在不同知识图谱上的泛化能力和推理能力。本文选择了三个不同的源数据集进行预训练：FB V1（包含180种关系）、NELL V1（仅14种关系）以及CoDEx-small（42种关系）。这些数据集具有不同的规模和特性，有助于提高模型的泛化能力。

4. 实验

在43个不同类型的公开知识图谱上进行了评估，包括归纳、完全归纳及演绎三种设定下的数据集，主要采用了MRR (Mean Reciprocal Rank) 和Hits@10等指标来衡量模型的表现。本文与多种基线模型进行了比较，包括当前最先进的监督学习方法以及ULTRA模型的不同版本。

实验表明，提出的KG-ICL模型不仅在大多数数据集上优于现有的基线方法，而且展现出卓越的泛化能力和通用推理能力。这包括了对未见过实体和关系的有效处理，以及跨不同类型知识图谱的适应性。当使用相同的预训练混合数据集（如WN18RR, FB15k-237, 和 CoDEx-medium）时，KG-ICL的表现优于ULTRA模型。即使是在仅用一个知识图谱进行预训练的情况下，KG-ICL也表现出色，显示出其强大的泛化能力。随着预训练数据集数量的增加，性能持续提升。