[论文解读] Unsupervised Hierarchy Matching with Optimal Transport over Hyperbolic Spaces

David Alvarez-Melis, Youssef Mroueh+1 more|arXiv (Cornell University)|Nov 6, 2019

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了一种新颖的无监督方法，通过在双曲空间上利用最优传输来匹配分层数据（如WordNet和本体论）。该方法解决了欧几里得对齐方法在双曲嵌入上失效的问题，原因在于分支排列不变性，提出了一种基于双曲神经网络的注册框架，其在跨语言WordNet和本体论匹配任务中优于最先进欧几里得方法。

ABSTRACT

This paper focuses on the problem of unsupervised alignment of hierarchical data such as ontologies or lexical databases. This is a problem that appears across areas, from natural language processing to bioinformatics, and is typically solved by appeal to outside knowledge bases and label-textual similarity. In contrast, we approach the problem from a purely geometric perspective: given only a vector-space representation of the items in the two hierarchies, we seek to infer correspondences across them. Our work derives from and interweaves hyperbolic-space representations for hierarchical data, on one hand, and unsupervised word-alignment methods, on the other. We first provide a set of negative results showing how and why Euclidean methods fail in this hyperbolic setting. We then propose a novel approach based on optimal transport over hyperbolic spaces, and show that it outperforms standard embedding alignment techniques in various experiments on cross-lingual WordNet alignment and ontology matching tasks.

研究动机与目标

• 解决无监督对齐分层数据（如本体论和词典数据库）的挑战，且不依赖外部知识或文本相似性。
• 识别并分析现有基于欧几里得的无监督嵌入对齐方法在应用于双曲嵌入时的失效原因，特别是由于分支排列不变性所致。
• 开发一种几何框架，利用双曲空间的内在结构，实现对分层数据集的鲁棒、完全无监督对齐。
• 在真实任务中验证所提方法的有效性，包括多语言WordNet对齐和生物本体论匹配，在最小假设条件下实现性能优越。

提出的方法

• 通过在庞加莱球模型上使用最优传输，将层次结构匹配问题建模为双曲流形之间的对应关系任务。
• 通过双曲神经网络引入非线性注册函数，以对齐两个双曲嵌入的几何结构，解决分支排列不变性问题。
• 通过最小化双曲最优传输代价来训练注册网络，该代价同时提供梯度信号和实体间的软点对匹配。
• 使用庞加莱度量以保持嵌入的层次结构，确保几何距离反映语义或分类关系。
• 应用前推操作将一个双曲空间中的概率测度映射到另一个空间，实现分布级别的对齐。
• 通过对称初始化进行注册网络预训练，并通过最优传输进行微调，以提升对齐的鲁棒性。

实验结果

研究问题

• RQ1 为何标准的欧几里得无监督嵌入对齐方法在应用于分层数据的双曲嵌入时会失效？
• RQ2 何种特定几何不变性（分支排列）导致了这一失效？它与欧几里得空间中的不变性有何不同？
• RQ3 能否有效利用双曲空间上的最优传输来实现无外部监督的分层嵌入对齐？
• RQ4 基于双曲神经网络的可学习非线性注册函数相较于线性或刚性变换，在对齐鲁棒性方面有何提升？
• RQ5 所提方法在多样的分层数据集（如多语言WordNet和生物本体论）上的泛化能力如何？

主要发现

• 即使经过几何适应，标准欧几里得对齐方法（如Muse、Self-Learn和InvarOt）在双曲嵌入上表现不佳，原因在于分支排列不变性。
• 消融实验证实，使用正确的庞加莱度量和预训练是关键组件，若省略任一，性能显著下降。
• 在多语言WordNet对齐任务中，所提的Hyperbolic-OT模型在H→M任务中达到Precision@10为7.89，在S→E任务中达到9.66，优于所有基线方法。
• 在OAEI 2018本体论匹配任务中，Hyperbolic-OT在F→P任务中达到16.67%的Precision@10，在P→F任务中达到8.73%，显著超过次优基线的4.00%。
• 该方法对噪声敏感，在领域分布变化下性能下降，但在高维嵌入中仍保持更强的鲁棒性。
• 该框架可推广至庞加莱球之外，表明其适用于其他具有可计算优化的黎曼流形。