[论文解读] Open-World Knowledge Graph Completion

Baoxu Shi, Tim Weninger|arXiv (Cornell University)|Nov 9, 2017

Topic Modeling参考文献 26被引用 14

一句话总结

该论文提出 ConMask，一种新颖的开放世界知识图谱补全模型，通过使用与关系相关的文本掩码和全卷积神经网络，从实体描述中提取相关文本特征，从而实现对未见或连接稀疏的实体缺失关系的准确预测。ConMask 在开放世界和封闭世界 KGC 基准测试中均优于现有模型，在 DBPedia50k 和 DBPedia500k 等大规模数据集上展现出强大的泛化能力和鲁棒性。

ABSTRACT

Knowledge Graphs (KGs) have been applied to many tasks including Web search, link prediction, recommendation, natural language processing, and entity linking. However, most KGs are far from complete and are growing at a rapid pace. To address these problems, Knowledge Graph Completion (KGC) has been proposed to improve KGs by filling in its missing connections. Unlike existing methods which hold a closed-world assumption, i.e., where KGs are fixed and new entities cannot be easily added, in the present work we relax this assumption and propose a new open-world KGC task. As a first attempt to solve this task we introduce an open-world KGC model called ConMask. This model learns embeddings of the entity's name and parts of its text-description to connect unseen entities to the KG. To mitigate the presence of noisy text descriptions, ConMask uses a relationship-dependent content masking to extract relevant snippets and then trains a fully convolutional neural network to fuse the extracted snippets with entities in the KG. Experiments on large data sets, both old and new, show that ConMask performs well in the open-world KGC task and even outperforms existing KGC models on the standard closed-world KGC task.

研究动机与目标

• 为解决封闭世界知识图谱补全（KGC）模型无法预测未见或连接稀疏实体关系的局限性。
• 通过引入允许预测原始知识图谱中不存在的新实体三元组的开放世界 KGC 任务，放宽封闭世界假设。
• 开发一种能有效利用文本描述作为低连通性或未见实体拓扑特征替代品的模型。
• 通过整合实体描述中的语义信息，提升在稀疏和动态演化知识图谱上的 KGC 性能。

提出的方法

• ConMask 使用与关系相关的文本掩码，基于目标关系从实体描述中提取相关文本片段。
• 其采用全卷积神经网络（FCNN）将掩码后的文本片段与实体嵌入融合，用于关系预测。
• 该模型结合实体描述的语义平均与 FCNN 学习到的表示，生成上下文感知的嵌入表示。
• 通过将文本特征作为拓扑结构的代理，使模型能够对连接极少或没有连接的实体进行预测。
• 模型采用基于边距的排序损失进行端到端训练，以优化正确尾实体预测。
• ConMask 在开放世界和封闭世界设置下进行评估，涵盖新发布的 DBPedia50k 和 DBPedia500k 数据集。

实验结果

研究问题

• RQ1 在开放世界假设下，KGC 模型能否有效预测原始知识图谱中不存在的实体的缺失关系？
• RQ2 文本描述在缺乏拓扑连通性的情况下，能否有效补偿新关系或缺失关系的预测？
• RQ3 与关系相关的文本掩码是否能提升 KGC 中文本特征提取的相关性和性能？
• RQ4 专为开放世界 KGC 设计的模型是否也能在标准封闭世界 KGC 基准上表现具有竞争力？
• RQ5 在大规模真实世界知识图谱上，ConMask 在平均排名和 MRR 指标上与现有 KGC 模型相比表现如何？

主要发现

• 与不进行内容提取的基线语义平均模型相比，ConMask 在 DBPedia50k 和 DBPedia500k 数据集上的平均排名性能均提升至少 60%。
• 在更大的 DBPedia500k 数据集上，内容提取带来的性能增益更为显著，表明文本特征在高覆盖率场景下具有更好的可扩展性和实用性。
• 在 DBPedia50k 数据集上，ConMask 超过了标准封闭世界 KGC 模型如 TransE 和 TransR，尤其在处理稀疏图时受益明显。
• 在 DBPedia500k 数据集上，尽管由于训练失败导致 TransR 结果缺失，ConMask 仍取得了具有竞争力的性能，表明其具备鲁棒性和高效性。
• 该模型在大多数情况下能将正确实体排在前三位预测结果中，包括 'notable work' 和 'writer' 等复杂关系，即使实体名称未直接出现在描述中。
• ConMask 在对与关系语义相似的实体（如 'writer' 关系对应 'writer' 实体）进行排序时存在明显局限，可能导致性能下降，需未来通过过滤机制改进。