[论文解读] Poincaré Wasserstein Autoencoder

Ivan Ovinnikov|arXiv (Cornell University)|Jan 5, 2019

Anomaly Detection Techniques and Applications参考文献 39被引用 22

一句话总结

本文提出了庞加莱 Wasserstein 自编码器（PWA），一种使用双曲几何的庞加莱球模型来建模潜在空间的变分自编码器，以捕捉层次化数据结构。通过利用双曲空间的内在曲率，PWA 在层次化数据上实现了性能提升，在链接预测任务中表现出色，并在合成数据集和视觉数据集上实现了有效的潜在空间组织。

ABSTRACT

This work presents a reformulation of the recently proposed Wasserstein autoencoder framework on a non-Euclidean manifold, the Poincaré ball model of the hyperbolic space. By assuming the latent space to be hyperbolic, we can use its intrinsic hierarchy to impose structure on the learned latent space representations. We demonstrate the model in the visual domain to analyze some of its properties and show competitive results on a graph link prediction task.

研究动机与目标

• 解决标准变分自编码器（VAE）因潜在空间为欧几里得空间而难以建模层次化数据结构的局限性。
• 探索使用双曲几何（特别是庞加莱球模型）来学习潜在空间中的结构化、层次化表示。
• 在具有恒定负曲率的黎曼流形上构建 Wasserstein 自编码器框架，以更好地捕捉层次化依赖关系。
• 证明在具有内在树状或偏序结构的任务中，双曲潜在空间可优于欧几里得空间。
• 推导双曲空间中高斯分布及其采样过程的闭式表达式，以支持变分推断。

提出的方法

• 将 Wasserstein 自编码器框架重新表述于双曲空间的庞加莱球模型 $\mathbb{H}^n$ 上，以实现在非欧几里得流形上的近似变分推断。
• 利用黎曼指数映射和费歇尔信息度量在双曲空间中定义高斯分布，从而实现对先验与后验分布的恰当参数化。
• 使用最大均值差异（MMD）匹配潜在空间中的先验与后验分布，实现端到端训练。
• 采用平行移动与指数映射在双曲空间中实现对先验与后验分布的采样。
• 将模型应用于视觉生成（MNIST）与图链接预测（Cora、Citeseer、Pubmed）任务，以评估性能与结构保真度。
• 使用失真度量定量比较层次化合成数据上欧几里得与双曲潜在空间表示的质量。

实验结果

研究问题

• RQ1 与欧几里得 VAE 相比，是否可以通过在双曲几何中建模潜在空间来改善对层次化数据结构的表示？
• RQ2 Poincaré Wasserstein 自编码器在低维潜在空间中捕捉层次结构的能力如何？
• RQ3 在图链接预测任务中，使用双曲几何在自编码器中具有哪些定量优势？
• RQ4 与现有模型（如欧几里得 VAE 和超球面 VAE）相比，PWA 在重构质量与下游性能方面表现如何？
• RQ5 在双曲空间中应用基于 MMD 的目标时会遇到哪些挑战，以及如何缓解？

主要发现

• 在合成层次化数据集上，PWA 的平均失真度量为 0.49，显著优于 T-SNE（0.73）与欧几里得 VAE（0.82）。
• 在 MNIST 数据集上，PWA 生成的潜在表示被推向庞加莱圆盘的边界，反映出双曲空间的指数体积增长特性。
• 在 Cora 引用网络上，PWA 的测试 AUC 为 93.9 ± 0.2，AP 为 93.2 ± 0.4，优于欧几里得 VAE（AUC：92.7 ± 0.2），并达到超球面 VAE 的水平。
• 在 Citeseer 上，PWA 的 AUC 为 92.2 ± 0.2，AP 为 91.8 ± 0.2，优于欧几里得 VAE（AUC：90.3 ± 0.5），并接近超球面 VAE 的性能。
• 在 Pubmed 上，PWA 的 AUC 为 95.9 ± 0.2，AP 为 96.3 ± 0.2，略逊于欧几里得 VAE（AUC：97.1 ± 0.0），但仍表现出强劲性能。
• 该模型表明，双曲潜在空间能够以更低维表示有效编码层次化信息，与先前关于双曲词嵌入的研究结果一致。