[论文解读] On the Latent Space of Wasserstein Auto-Encoders

Paul K. Rubenstein, Bernhard Schoelkopf+1 more|arXiv (Cornell University)|Feb 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 9被引用 21

一句话总结

本文提出在Wasserstein自编码器（WAEs）中使用随机编码器，以提升潜在空间维度不匹配时的鲁棒性，尤其是在潜在维度超过数据内在维度的情况下。结果表明，与确定性编码器相比，随机编码器在重建质量与特征解耦方面表现更优，在dSprites基准测试中实现了98.8%的解耦性能，且重建效果显著优于β-VAE。

ABSTRACT

We study the role of latent space dimensionality in Wasserstein auto-encoders (WAEs). Through experimentation on synthetic and real datasets, we argue that random encoders should be preferred over deterministic encoders. We highlight the potential of WAEs for representation learning with promising results on a benchmark disentanglement task.

研究动机与目标

• 研究潜在空间维度不匹配对WAE性能的影响。
• 解决当潜在维度大于数据内在维度时，WAE中确定性编码器的局限性。
• 评估随机编码器是否能增强WAE中的表征学习与泛化能力。
• 在解耦任务上对WAE与随机编码器进行基准测试，与最先进的方法（如β-VAE）进行性能比较。

提出的方法

• 作者采用WAE的极小-极小公式，最小化期望重建损失，加上聚合后验分布与先验分布之间带正则化的最优传输距离。
• 比较确定性编码器（固定均值与方差）与随机编码器（随机编码分布），使用高斯与均匀先验。
• 为正则化，对编码器方差施加L1惩罚，以防止高维潜在空间中的方差坍塌。
• 模型使用深度神经网络训练编码器与解码器，推理时潜在码从学习到的分布中采样。
• 在合成数据（渐隐方块）与真实世界数据集（CelebA）上进行实验，评估基于dSprites数据集的解耦性能。
• 通过在线性分类器在潜在码上计算解耦度量，重建误差通过均方误差衡量。

实验结果

研究问题

• RQ1 潜在空间维度不匹配如何影响WAE性能？
• RQ2 当潜在维度超过数据内在维度时，随机编码器能否提升WAE性能？
• RQ3 与β-VAE相比，WAE结合随机编码器在解耦与重建质量方面表现如何？
• RQ4 WAE能否在保持优越重建性能的同时，实现更优的解耦效果，超越当前最先进方法？

主要发现

• 在五变量dSprites任务中，随机编码器WAE实现了98.8%的解耦率，显著优于β-VAE的85.4%。
• 最佳WAE在测试集上的重建误差为94.0±5.8，而β-VAE为156.1±5.7。
• 在四变量解耦任务中，WAE与β-VAE的解耦率均为99.23%，但WAE的重建误差为40.8±1.5，远低于β-VAE的114.8±5.2。
• 当d_Z ≫ d_I时，随机编码器在高维潜在空间中显著优于确定性编码器。
• 通过适当的方差正则化，随机编码器WAE能有效适应未知的数据内在维度。
• 可视化重建结果表明，WAE在保持图像质量方面优于β-VAEs，同时实现了更优的解耦性能。