[论文解读] Topological Autoencoders

Michael Moor, Max Horn+2 more|arXiv (Cornell University)|Jun 3, 2019

Topological and Geometric Data Analysis参考文献 30被引用 3

一句话总结

本文提出了拓扑自编码器（TopoAE），一种新型可微分损失函数，利用持久同调（persistent homology）在数据空间与潜在空间之间保持拓扑结构（如连通分量和环路）。通过使拓扑特征签名可反向传播，TopoAE 在合成数据集和真实世界数据集（如 MNIST 和 CIFAR-10）上实现了最先进的潜在表示，同时保持了较低的重建误差，并显著提升了潜在空间的拓扑保真度。

ABSTRACT

We propose a novel approach for preserving topological structures of the input space in latent representations of autoencoders. Using persistent homology, a technique from topological data analysis, we calculate topological signatures of both the input and latent space to derive a topological loss term. Under weak theoretical assumptions, we construct this loss in a differentiable manner, such that the encoding learns to retain multi-scale connectivity information. We show that our approach is theoretically well-founded and that it exhibits favourable latent representations on a synthetic manifold as well as on real-world image data sets, while preserving low reconstruction errors.

研究动机与目标

• 为解决在深度学习中整合拓扑约束的挑战，其中拓扑计算通常不可微，且与反向传播不兼容。
• 开发一种可微分的拓扑损失，以在自编码器的潜在空间中保留多尺度连通性特征（如连通分量、环路）。
• 确保在小批量采样下拓扑损失计算的理论稳定性，从而实现可靠的优化。
• 通过实证验证，拓扑保持可提升学习表示的可解释性与质量，同时不牺牲重建精度。

提出的方法

• 通过可微分松弛化 Vietoris–Rips 复形构造，近似持久同调，提出一种可微分的拓扑损失。
• 使用矩阵约化算法，通过离散拓扑特征的光滑近似，以可微方式计算同调群与持久图。
• 推导输入空间与潜在空间持久图之间的可微瓶颈距离，作为拓扑损失项。
• 将拓扑损失与标准重建损失（如均方误差）联合优化，集成于自编码器的目标函数中。
• 采用小批量采样，并在理论上保证拓扑特征签名的稳定性，确保可靠的梯度估计。
• 通过出生-死亡对的软分配实现可微分的持久图比较，使梯度可流经拓扑特征。

实验结果

研究问题

• RQ1 能否通过可微分损失在自编码器学习的潜在表示中保留连通分量和环路等拓扑特征？
• RQ2 是否可能对持久同调计算进行反向传播，从而训练具备拓扑归纳偏置的深度自编码器？
• RQ3 与标准自编码器和降维基线方法相比，引入拓扑损失如何影响潜在表示的质量与可解释性？
• RQ4 所提出方法是否在包括合成流形和真实图像数据在内的多样化数据集上，维持低重建误差的同时提升拓扑保真度？

主要发现

• 在所有数据集（包括 SPHERES、F-MNIST、MNIST 和 CIFAR-10）上，TopoAE 在 ℓ-Trust 和 ℓ-Cont 指标上均实现了显著提升的拓扑保真度。
• 在 SPHERES 数据集上，TopoAE 的 ℓ-Trust 得分为 0.65775 ± 0.01428，优于基线模型（普通自编码器：0.58843 ± 0.00475，TopoPCA：0.62260 ± 0.00251）。
• 在 MNIST 上，TopoAE 在保持低重建误差（RMSE：19.57784 ± 0.01812）的同时，实现了高达 0.92844 ± 0.00142 的 ℓ-Trust 得分，表明其对拓扑结构的强保真度。
• 在 CIFAR-10 上，TopoAE 的 ℓ-Trust 得分为 0.84514 ± 0.00359，尽管重建误差较高，但仍优于普通自编码器（0.86359 ± 0.00442）和 TopoPCA（0.81551 ± 0.00139），在拓扑保真度方面表现更优。
• 可视化结果（图 A.7 和 A.8）表明，与标准自编码器、t-SNE、UMAP 和 PCA 相比，TopoAE 生成的潜在空间更具结构化且更易解释，尤其在保持类别内聚类与流形结构方面表现突出。
• 该方法在小批量采样下展现出拓扑损失计算的理论稳定性，确保了优化过程的可靠与一致。