[论文解读] The Numerical Stability of Hyperbolic Representation Learning

Gal Mishne, Zhengchao Wan+2 more|arXiv (Cornell University)|Oct 31, 2022

Neural Networks and Applications被引用 5

一句话总结

本文识别出在64位浮点数运算下，双曲表示学习中的数值不稳定性问题，特别是在庞加莱球和洛伦兹模型中。本文提出了一种双曲空间的欧几里得参数化方法，解决了现有模型在表示能力和优化方面的局限性，并在双曲SVM和树形嵌入任务中展现出优于现有模型的性能。

ABSTRACT

Given the exponential growth of the volume of the ball w.r.t. its radius, the hyperbolic space is capable of embedding trees with arbitrarily small distortion and hence has received wide attention for representing hierarchical datasets. However, this exponential growth property comes at a price of numerical instability such that training hyperbolic learning models will sometimes lead to catastrophic NaN problems, encountering unrepresentable values in floating point arithmetic. In this work, we carefully analyze the limitation of two popular models for the hyperbolic space, namely, the Poincaré ball and the Lorentz model. We first show that, under the 64 bit arithmetic system, the Poincaré ball has a relatively larger capacity than the Lorentz model for correctly representing points. Then, we theoretically validate the superiority of the Lorentz model over the Poincaré ball from the perspective of optimization. Given the numerical limitations of both models, we identify one Euclidean parametrization of the hyperbolic space which can alleviate these limitations. We further extend this Euclidean parametrization to hyperbolic hyperplanes and exhibits its ability in improving the performance of hyperbolic SVM.

研究动机与目标

• 分析庞加莱球和洛伦兹模型在64位浮点数运算下的数值稳定性限制。
• 从理论上比较这些模型的优化行为，特别是梯度消失问题。
• 提出一种双曲空间的欧几里得参数化方法，以克服现有模型在表示和优化方面的缺陷。
• 在双曲SVM和层次化数据嵌入等实际应用中验证新参数化方法的有效性。

提出的方法

• 本文对64位浮点精度下庞加莱球和洛伦兹模型的表示能力进行了几何分析。
• 提供了梯度动力学的理论分析，表明洛伦兹模型比庞加莱模型更不容易出现梯度消失。
• 提出了一种新颖的双曲空间欧几里得参数化方法，避免了两种模型固有的数值溢出和下溢问题。
• 将该欧几里得参数化方法扩展至双曲超平面，使其可用于双曲SVM等结构化预测任务。
• 所提出的LSVMPP模型将欧几里得参数化应用于双曲SVM，采用反双曲正弦变换和Platt缩放以提升概率校准性能。
• 实验在模拟和真实数据集上对比了LSVMPP与洛伦兹SVM、欧几里得SVM及基于庞加莱模型的SVM，采用一致的训练与评估协议。

实验结果

研究问题

• RQ1 在64位浮点数运算下，庞加莱球和洛伦兹模型的数值表示能力极限是什么？
• RQ2 尽管表示能力相似，为何洛伦兹模型在优化中实际表现优于庞加莱模型？
• RQ3 能否通过双曲空间的欧几里得参数化方法，同时解决数值不稳定性并保留优化优势？
• RQ4 所提出的参数化方法如何提升双曲SVM和树形嵌入任务的性能？
• RQ5 该欧几里得参数化方法是否在层次化数据表示中实现了优于现有双曲模型的泛化能力？

主要发现

• 由于庞加莱球模型具有有界性，其在64位浮点数运算下的表示能力优于洛伦兹模型，可避免溢出。
• 洛伦兹模型表现出更优的优化行为，因其梯度消失现象更轻微，该结论在论文中得到理论验证。
• 所提出的欧几里得参数化方法消除了庞加莱模型和洛伦兹模型中固有的数值不稳定性问题。
• 基于欧几里得参数化的双曲SVM（LSVMPP）在CIFAR-10数据集上达到最高平均准确率（91.96%）和F1分数（0.9197），优于所有基线模型。
• 在Fashion-MNIST数据集上，LSVMPP实现89.49%的准确率和0.8955的F1分数，显著优于洛伦兹SVM（71.59%准确率），展现出在层次化数据中的鲁棒性。
• 欧几里得参数化方法实现了稳定训练，并优于PSVM，后者因参考点选择次优而表现不佳，且该问题与超平面学习过程无关。