[论文解读] TransA: An Adaptive Approach for Knowledge Graph Embedding

Han Xiao, Minlie Huang+2 more|arXiv (Cornell University)|Sep 18, 2015

Advanced Graph Neural Networks参考文献 19被引用 116

一句话总结

TransA 提出了一种自适应度量方法，用于知识图谱嵌入，通过使用非负权重矩阵和绝对值算子，将基于翻译的模型中的刚性欧几里得距离替换为灵活的马哈拉诺比斯类似度量。该方法实现了椭圆等势面和维度特定加权，显著提升了在知识图谱补全和分类任务上的性能，优于当前最先进基线模型。

ABSTRACT

Knowledge representation is a major topic in AI, and many studies attempt to represent entities and relations of knowledge base in a continuous vector space. Among these attempts, translation-based methods build entity and relation vectors by minimizing the translation loss from a head entity to a tail one. In spite of the success of these methods, translation-based methods also suffer from the oversimplified loss metric, and are not competitive enough to model various and complex entities/relations in knowledge bases. To address this issue, we propose extbf{TransA}, an adaptive metric approach for embedding, utilizing the metric learning ideas to provide a more flexible embedding method. Experiments are conducted on the benchmark datasets and our proposed method makes significant and consistent improvements over the state-of-the-art baselines.

研究动机与目标

• 解决基于翻译的知识图谱嵌入方法中刚性各向同性损失度量的局限性。
• 比球面对称等势面更有效地建模复杂实体-关系拓扑结构（如一对多、多对一和多对多关系）。
• 通过基于关系特定重要性的自适应维度加权，抑制无关特征维度带来的噪声。
• 通过更灵活、更具泛化能力的度量，提升知识图谱补全和分类任务的性能。
• 证明非负矩阵约束结合绝对值算子在表示灵活性上优于正定矩阵（PSD）约束。

提出的方法

• TransA 将标准 L2 损失替换为加权马哈拉诺比斯类似得分函数：$ f_r(h,t) = \sum_i w_{r,i} |h_i + r_i - t_i| $，其中 $ w_{r,i} \geq 0 $ 为每个维度的关系特定权重。
• 该方法使用 LDL 分解计算并强制实现非负权重，确保度量的数值稳定性和可解释性。
• 通过在损失中使用绝对值，TransA 实现了非对称加权，使某些维度对损失的贡献大于其他维度。
• 模型采用椭圆等势面而非球面等势面，从而更好地表示复杂的嵌入拓扑结构。
• 该框架支持使用负采样和在验证集上调整超参数的随机优化进行端到端训练。
• 该方法通过允许关系特定的自适应度量学习，推广了 TransE、TransH 和 TransR 等先前模型。

实验结果

研究问题

• RQ1 一种对特征维度加权的自适应度量是否能提升知识图谱嵌入性能，相较于各向同性距离度量？
• RQ2 用椭圆等势面替代球面等势面是否能更好地捕捉知识图谱中复杂的关系拓扑？
• RQ3 在知识嵌入的度量学习中，使用非负权重结合绝对值算子与正定矩阵约束相比，表现如何？
• RQ4 维度特定加权在多大程度上能减少噪声并提升关系表示的泛化能力？
• RQ5 所提出的方法是否能在多个基准数据集和任务上持续优于当前最先进基线？

主要发现

• 在三元组分类任务中，TransA 达到 85.3% 的平均准确率，优于所有基线模型，包括 TransR（84.2%）和 Adaptive Metric（PSD）（84.3%）。
• 在 WN11 数据集上，TransA 达到 83.2% 的准确率，超过 TransR（85.9%）和 Adaptive Metric（PSD）（81.4%）。
• 在 FB13 数据集上，TransA 达到 87.3% 的准确率，超过 TransR（82.5%）和 Adaptive Metric（PSD）（87.1%）。
• 该方法在所有基准测试中显著提升了平均倒数排名（MRR）和 Hits@10，表明对正确三元组的排序质量更高。
• 权重差异度量（最大权重与中位数权重之差）与性能提升呈正相关，证实特征加权能有效减少噪声并增强表示能力。
• TransA 在复杂关系上的表现尤为突出，其自适应度量和椭圆表面能比球面或基于 PSD 的方法更好地建模非球形、非对称的拓扑结构。