[论文解读] Robust Large-Margin Learning in Hyperbolic Space

Melanie Weber, Manzil Zaheer+3 more|arXiv (Cornell University)|Apr 11, 2020

Topological and Geometric Data Analysis参考文献 28被引用 7

一句话总结

本文首次为双曲空间中的鲁棒大间隔学习提供了理论保证，提出了一种通过在梯度优化中注入对抗性样本以高效学习大间隔超平面的算法。证明了对于具有层次结构的数据，双曲空间相比欧几里得空间能够以更低的嵌入维度实现更优的泛化性能，从而在下游分类任务中展现出可证明的性能优势。

ABSTRACT

Recently, there has been a surge of interest in representation learning in hyperbolic spaces, driven by their ability to represent hierarchical data with significantly fewer dimensions than standard Euclidean spaces. However, the viability and benefits of hyperbolic spaces for downstream machine learning tasks have received less attention. In this paper, we present, to our knowledge, the first theoretical guarantees for learning a classifier in hyperbolic rather than Euclidean space. Specifically, we consider the problem of learning a large-margin classifier for data possessing a hierarchical structure. We provide an algorithm to efficiently learn a large-margin hyperplane, relying on the careful injection of adversarial examples. Finally, we prove that for hierarchical data that embeds well into hyperbolic space, the low embedding dimension ensures superior guarantees when learning the classifier directly in hyperbolic space.

研究动机与目标

• 建立双曲空间中大间隔分类的理论基础，该空间在处理层次结构数据方面展现出潜力，但缺乏对下游任务的理论支持。
• 填补双曲几何中鲁棒且理论可靠的分类算法的空白，特别是针对具有内在层次结构的数据。
• 分析在双曲空间与欧几里得空间中，嵌入维度与失真之间的权衡对分类器性能的影响。
• 证明对于层次结构数据，双曲空间相比欧几里得空间能够以更少维度实现更优泛化性能。

提出的方法

• 提出一种新颖算法，结合基于梯度的优化与对抗性样本的策略性注入，以在双曲空间中学习大间隔超平面。
• 使用双曲空间的洛伦兹模型来定义测地线与双曲距离，从而实现几何上合理的优化。
• 采用改进的损失函数——具体为双曲逻辑损失——以满足理论收敛保证所需的假设。
• 推导出围绕数据点的双曲球体的中心与半径的解析表达式，以计算双曲间隔。
• 引入维度-失真权衡分析，以比较欧几里得空间与双曲空间在性能与嵌入效率方面的表现。
• 通过双曲感知器与最小二乘损失的对抗性梯度下降方法对方法进行实证验证，结果表明其具有收敛性与鲁棒性。

实验结果

研究问题

• RQ1 是否可以在双曲空间中理论保证鲁棒的大间隔分类？若可以，如何实现？
• RQ2 在梯度下降中注入对抗性样本是否能改善双曲空间中大间隔分离器的收敛性？
• RQ3 在具有层次结构的数据上，双曲空间中学习的分类器性能与欧几里得空间中的分类器相比如何？
• RQ4 在双曲空间中学习分类器时，嵌入维度与失真之间的权衡是什么？
• RQ5 能否利用双曲空间的内在几何特性，实现更低维表示下的更优泛化性能？

主要发现

• 所提出的结合对抗性样本注入的算法在双曲空间中可理论证明收敛至大间隔分离器，而标准梯度下降或单独使用对抗性样本则无法实现。
• 对于可良好嵌入双曲空间的层次结构数据，直接在双曲空间中学习分类器可确保显著更低嵌入维度下的更优泛化保证。
• 实证结果表明，双曲感知器在两分类层次数据集上实现了零测试误差，且在非线性可分数据上也表现出合理性能。
• 使用最小二乘损失的对抗性梯度下降方法保持了稳定的训练动态，并随着对抗性预算 α 的增加而提升鲁棒性，如图 8 所示。
• 维度-失真权衡分析表明，双曲嵌入在相同维度下（如 d=4）可实现与欧几里得嵌入相当或更优的测试误差（例如，双曲空间为 0.51，欧几里得空间为 0.54），且在双曲空间中 d=8 时达到完整性能。
• 理论分析证实，双曲空间中的间隔在失真下仍能保持，当失真较小时，间隔表达式近似于原始欧几里得间隔。