[论文解读] Topological Constraints on Homeomorphic Auto-Encoding

Pim de Haan, Luca Falorsi|arXiv (Cornell University)|Dec 27, 2018

Advanced Vision and Imaging参考文献 4被引用 4

一句话总结

本文证明，将数据映射到非平凡流形（如 SO(3)）的自编码器若要与数据流形同胚，则无法在全局上保持连续性。通过使用同伦群等拓扑不变量，作者推导出构造同胚自编码器的充要条件，证明仅有特定架构（如 SO(3) 的 'Basis' 方法）满足这些约束，而其他方法（如指数映射、四元数）因拓扑障碍而失败。

ABSTRACT

When doing representation learning on data that lives on a known non-trivial manifold embedded in high dimensional space, it is natural to desire the encoder to be homeomorphic when restricted to the manifold, so that it is bijective and continuous with a continuous inverse. Using topological arguments, we show that when the manifold is non-trivial, the encoder must be globally discontinuous and propose a universal, albeit impractical, construction. In addition, we derive necessary constraints which need to be satisfied when designing manifold-specific practical encoders. These are used to analyse candidates for a homeomorphic encoder for the manifold of 3D rotations $SO(3)$.

研究动机与目标

• 形式化自编码器在数据流形与潜在空间之间成为同胚的条件。
• 阐明标准深度学习架构为何无法为非平凡流形生成全局连续、双射且具有连续逆的编码器。
• 推导构造同胚自编码器的必要且充分的拓扑条件。
• 利用拓扑约束评估 SO(3) 的现有候选架构，并通过先前的实验结果验证理论预测。
• 指导未来尊重复杂数据流形拓扑结构的自编码器架构设计。

提出的方法

• 使用代数拓扑，特别是同伦群，分析同胚编码器的拓扑约束。
• 应用定理 1 和推论 2，证明任何将非平凡流形连续映射到欧氏空间的编码器，除非其流形的同伦群可嵌入到环境空间的同伦群中，否则不能是收缩映射。
• 应用惠特尼嵌入定理，证明任一流形均可嵌入到足够高维的欧氏空间中作为闭子集。
• 引入从欧氏空间到嵌入流形的度量投影映射，证明其几乎处处连续且几乎处处唯一定义。
• 应用引理 3，建立函数复合在数据流形上产生同胚的充分条件。
• 分析 SO(3) 的四种候选架构：指数映射、四元数、轴角表示和基方法，基于拓扑标准进行评估。

实验结果

研究问题

• RQ1 是否存在一个全局连续的自编码器，能作为非平凡流形与欧氏潜在空间之间的同胚？
• RQ2 自编码器在给定流形上成为同胚时，必须满足哪些拓扑不变量？
• RQ3 为何标准架构如指数映射或基于四元数的编码器无法为 SO(3) 生成同胚表示？
• RQ4 哪些架构设计原则可确保编码器在限制于数据流形时为同胚？
• RQ5 理论拓扑约束与先前关于 SO(3) 表示学习工作的实证性能在多大程度上一致？

主要发现

• 任何在非平凡流形与欧氏空间之间为同胚的编码器，即使在数据流形上连续，也必须是全局不连续的。
• SO(3) 的指数映射编码器虽为全局连续，但违反了由推论 2 所述的必要拓扑条件，因为 SO(3) 的第一同伦群非平凡（π₁(SO(3)) = ℤ/2ℤ）。
• 基于四元数的编码器失败，因为 3-球面 S³ 是单连通的（π₁(S³) = 0），与要求中间空间具有与 SO(3) 相同的非平凡同伦性相矛盾。
• 轴角编码器失败，因为 S² × S¹ 是紧致且单连通的，但 SO(3) 不是，违反了通过引理 5 所确立的同胚必要条件。
• 'Basis' 方法满足引理 3 所述的充分条件，因为从 ℝ³×ℝ³ 到 SO(3) 通过归一化正交基的映射在约束流形上是连续且双射的。
• 理论分析确认，仅 'Basis' 方法能为 SO(3) 生成同胚编码器，与 Falorsi 等人（2018）的实验结果一致。