[论文解读] Topographic VAEs learn Equivariant Capsules

Timothy A. Keller, Max Welling|arXiv (Cornell University)|Sep 3, 2021

Image Processing and 3D Reconstruction参考文献 45被引用 6

一句话总结

本文提出了地形变分自编码器（TVAE），一种深度生成模型，通过强制时间一致性，从无标签的序列数据中学习具有地形组织结构、近似等变性的胶囊表征。通过在经旋转或色彩偏移等变换的输入序列（如旋转或色彩偏移的MNIST数字）上进行训练，该模型发现了可解耦的、等变的特征，这些特征能泛化到未见过的变换，通过推理与变换算子的可交换性，实现了更高的似然度和可量化的等变性。

ABSTRACT

In this work we seek to bridge the concepts of topographic organization and equivariance in neural networks. To accomplish this, we introduce the Topographic VAE: a novel method for efficiently training deep generative models with topographically organized latent variables. We show that such a model indeed learns to organize its activations according to salient characteristics such as digit class, width, and style on MNIST. Furthermore, through topographic organization over time (i.e. temporal coherence), we demonstrate how predefined latent space transformation operators can be encouraged for observed transformed input sequences -- a primitive form of unsupervised learned equivariance. We demonstrate that this model successfully learns sets of approximately equivariant features (i.e. "capsules") directly from sequences and achieves higher likelihood on correspondingly transforming test sequences. Equivariance is verified quantitatively by measuring the approximate commutativity of the inference network and the sequence transformations. Finally, we demonstrate approximate equivariance to complex transformations, expanding upon the capabilities of existing group equivariant neural networks.

研究动机与目标

• 通过引入一种新型归纳偏置，弥合深度生成模型中地形组织与等变性之间的鸿沟。
• 在无需显式监督或硬编码对称性的情况下，实现从序列数据中无监督学习近似等变胶囊表征。
• 证明序列中的时间一致性可在潜在空间中诱导出地形组织与等变性。
• 验证所学表征在变换下保持相对姿态结构，从而实现对未见变换组合的泛化能力。
• 通过学习复杂非线性变换（如组合色彩与旋转或透视变换）扩展群等变网络的能力。

提出的方法

• 该模型使用具有地形组织潜在空间的变分自编码器（VAE），其中特征激活根据输入变换的空间结构进行排列。
• 通过将变换后的输入序列建模为时间序列，强制实现时间一致性，促使潜在表征在时间步之间保持平滑、缓慢的变化。
• 其关键创新在于在胶囊维度内引入“滚动”（Roll）操作，以模拟变换算子（如旋转），使模型能够通过在胶囊间滚动激活来解码序列。
• 通过可微路由机制学习共享的变换算子，使潜在激活与观测到的输入变换对齐。
• 推理网络经过训练，以生成近似与变换算子可交换的潜在代码，通过可交换性损失量化等变性。
• 该架构支持循环卷积与因果卷积，使模型可应用于具有时间依赖性的在线或流式场景。

实验结果

研究问题

• RQ1 序列数据中的时间一致性是否能在深度生成模型的潜在空间中诱导出地形组织与等变性？
• RQ2 地形VAE能否直接从无标签序列中无监督地学习近似等变胶囊表征，而无需显式监督？
• RQ3 该模型是否能泛化到未见的变换组合（如色彩与旋转组合）而无需架构更改？
• RQ4 通过推理与变换算子的近似可交换性，该模型在多大程度上能实现可量化的等变性？
• RQ5 该模型能否在完全无监督的情况下学习复杂非线性变换（如透视变换）？

主要发现

• TVAE成功学习到反映MNIST数据中显著特征（如数字类别、宽度与风格）的地形组织潜在表征。
• 与基线VAE相比，该模型在包含复杂变换（如色彩与旋转组合）的测试序列上实现了更高的似然度。
• 定量评估通过可交换性损失确认了近似等变性，表明推理网络与变换算子几乎可交换。
• 该模型在无需架构更改的情况下泛化到未见的变换组合（如色彩与透视变换），表明其具备鲁棒性与解耦性。
• 当 $ K $ 等于胶囊大小时，模型学习到不变表征，因为滚动在观测空间中不会产生可察觉的变化。
• 胶囊遍历结果表明，模型可通过滚动初始激活重建完整变换序列，即使在复杂变换（如色彩与旋转组合）下也能实现准确重建。