[论文解读] Weakly-supervised Knowledge Graph Alignment with Adversarial Learning

Meng Qu, Jian Tang+1 more|arXiv (Cornell University)|Jul 6, 2019

Advanced Graph Neural Networks参考文献 28被引用 9

一句话总结

该论文提出了一种基于对抗学习与互信息最大化机制的弱监督知识图谱对齐方法，旨在仅使用极少或无需标注三元组的情况下对齐跨知识图谱的实体与关系。通过训练判别器以区分真实与生成的三元组，并结合互信息正则化的REINFORCE算法，该方法有效缓解了模式崩溃问题，在基准数据集的无监督与弱监督设置下均取得了优异性能。

ABSTRACT

This paper studies aligning knowledge graphs from different sources or languages. Most existing methods train supervised methods for the alignment, which usually require a large number of aligned knowledge triplets. However, such a large number of aligned knowledge triplets may not be available or are expensive to obtain in many domains. Therefore, in this paper we propose to study aligning knowledge graphs in fully-unsupervised or weakly-supervised fashion, i.e., without or with only a few aligned triplets. We propose an unsupervised framework to align the entity and relation embddings of different knowledge graphs with an adversarial learning framework. Moreover, a regularization term which maximizes the mutual information between the embeddings of different knowledge graphs is used to mitigate the problem of mode collapse when learning the alignment functions. Such a framework can be further seamlessly integrated with existing supervised methods by utilizing a limited number of aligned triples as guidance. Experimental results on multiple datasets prove the effectiveness of our proposed approach in both the unsupervised and the weakly-supervised settings.

研究动机与目标

• 解决在缺乏大规模对齐三元组或其获取成本过高的情况下知识图谱对齐的挑战。
• 开发一种仅需少量对齐三元组即可实现有效对齐的无监督或弱监督框架。
• 通过最大化源图与目标图嵌入之间的互信息，缓解对抗训练中的模式崩溃问题。
• 通过利用有限的对齐三元组作为引导，实现与现有监督方法的无缝集成。
• 仅依赖低维嵌入与可学习的线性对齐函数，实现高效对齐。

提出的方法

• 使用预训练的知识图谱嵌入（如TransE、TransH、DistMult）表示实体与关系。
• 训练三元组判别器，通过对齐函数区分真实目标图三元组与生成的三元组。
• 采用对抗训练优化对齐函数（p_e 和 p_r），以欺骗判别器，从而提升对齐质量。
• 引入互信息最大化正则化项，通过鼓励源-目标实体映射的多样性，防止模式崩溃。
• 基于判别器的奖励信号，使用REINFORCE算法与策略梯度优化对齐函数。
• 通过引入少量对齐三元组作为监督信号，同时支持无监督训练与与监督方法的集成。

实验结果

研究问题

• RQ1 在不依赖大规模标注三元组的情况下，对抗学习能否有效对齐知识图谱？
• RQ2 互信息最大化如何提升对抗训练中的对齐鲁棒性并防止模式崩溃？
• RQ3 不同奖励函数与虚假三元组生成策略对对齐性能有何影响？
• RQ4 知识图谱嵌入模型的选择如何影响对齐框架的性能？
• RQ5 所提方法在多大程度上可与现有监督对齐方法集成，以提升弱监督对齐性能？

主要发现

• 所提出的对抗框架使用生成三元组作为假样本（'adv.'）在无监督与监督设置下均优于随机三元组基线方法（'rand.' 与 'rand.+adv.'）。
• TransE 嵌入在所有数据集上均持续优于 TransH 与 DistMult，可能因其线性平移特性与所用线性对齐函数高度契合。
• 在测试选项中，奖励函数 $\frac{x}{1-x}$ 与 $x$ 表现最佳，其中 $\frac{x}{1-x}$ 在 WK15k fr2en 数据集上达到 H@1 为 36.00，H@10 为 68.27。
• 采用互信息最大化显著减少了模式崩溃，确保了更丰富多样的实体对齐。
• 即使在无监督设置下，该方法也取得了优异结果，FB15k-2 数据集上 H@1 达 73.68，H@10 达 88.91。
• 该框架与监督方法具有高度兼容性，仅需极少监督信号即可实现高效的弱监督对齐。