[论文解读] Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space

Keizo Kato, Jing Zhou+2 more|arXiv (Cornell University)|Oct 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 8

一句话总结

该论文提出 RaDOGAGA，一种由率失真优化引导的自编码器，通过在输入空间与潜在空间之间强制实现恒定缩放的正交雅可比矩阵，实现在欧几里得潜在空间中的等距嵌入。通过结合率失真理论与正交变换编码原理，该方法实现了输入空间与潜在空间之间可处理的概率密度函数（PDF）关系，在四个公开数据集上的无监督异常检测性能显著优于当前最先进方法。

ABSTRACT

To analyze high-dimensional and complex data in the real world, deep generative models, such as variational autoencoder (VAE) embed data in a low-dimensional space (latent space) and learn a probabilistic model in the latent space. However, they struggle to accurately reproduce the probability distribution function (PDF) in the input space from that in the latent space. If the embedding were isometric, this issue can be solved, because the relation of PDFs can become tractable. To achieve isometric property, we propose Rate- Distortion Optimization guided autoencoder inspired by orthonormal transform coding. We show our method has the following properties: (i) the Jacobian matrix between the input space and a Euclidean latent space forms a constantlyscaled orthonormal system and enables isometric data embedding; (ii) the relation of PDFs in both spaces can become tractable one such as proportional relation. Furthermore, our method outperforms state-of-the-art methods in unsupervised anomaly detection with four public datasets.

研究动机与目标

• 为解决变分自编码器（VAEs）在准确重建输入空间概率密度函数（PDF）方面存在的局限性，原因在于潜在空间嵌入非等距。
• 建立高维数据向低维欧几里得潜在空间进行等距嵌入的理论与实践框架，保留几何关系。
• 通过输入空间与潜在空间 PDF 之间的比例关系，借助正交雅可比结构，实现在输入空间中的可处理 PDF 估计。
• 通过确保潜在空间中计算的似然值准确反映输入空间中的似然值，提升无监督异常检测性能。
• 弥合深度生成建模与率失真理论之间的鸿沟，证明 RDO 原理可引导自编码器生成正交、等距表示。

提出的方法

• 该方法构建了一个率失真优化（RDO）目标，引导自编码器学习一个潜在空间，使得输入空间与潜在空间之间的雅可比矩阵形成恒定缩放的正交系统。
• 雅可比矩阵的正交性确保了等距嵌入，即输入空间中的距离在潜在空间中被保留，仅受恒定缩放因子影响。
• 潜在空间被约束为欧几里得空间，从而可使用标准 PDF 估计技术，如高斯混合模型（GMM）或参数化分布。
• RDO 目标通过可微损失函数实现，平衡重建误差与一个正则化项，以强制编码器雅可比矩阵的正交性。
• 该方法使用 Adam 优化器进行端到端训练，配合早停与模型检查点机制，超参数按数据集独立调优。
• 该框架支持在输入空间中灵活使用度量函数（如二值交叉熵 BCE 用于二值数据，SSIM 用于图像），实现对多样化数据类型的适应。

实验结果

研究问题

• RQ1 率失真优化是否能在自编码器中强制实现恒定缩放的正交雅可比矩阵，从而实现在欧几里得潜在空间中的等距嵌入？
• RQ2 等距嵌入是否能建立输入空间与潜在空间之间概率密度函数（PDF）的可处理比例关系？
• RQ3 这种几何上忠实的潜在表示是否能显著提升无监督异常检测的准确性，相比非等距的 VAE 方法？
• RQ4 所提方法在多样化数据类型（包括高维图像与含混合特征类型的表格数据）上是否具备鲁棒性？
• RQ5 RDO 引导的训练目标在深度自编码器中在多大程度上能生成正交雅可比结构？

主要发现

• RaDOGAGA 在四个公开数据集（KDDCUP99、Thyroid、Arrhythmia、KDDCUP-rev）上实现了无监督异常检测的最先进性能。
• 在 KDDCUP99 数据集上，RaDOGAGA 的 F1 得分为 0.9531（±0.0017），优于 DAGMM 的 0.9369。
• 在 Thyroid 数据集上，RaDOGAGA 的 F1 得分为 0.5851（±0.0459），显著优于 DAGMM 的 0.4782。
• 在 KDDCUP-rev 数据集上，RaDOGAGA 的 F1 得分为 0.9795（±0.0036），超过 DAGMM 的 0.938。
• 该方法在所有数据集上各项指标（精确率、召回率、F1）均实现一致提升，即使在模型容量降低至与先前工作相当的情况下亦然。
• 消融研究证实，正交雅可比结构被成功学习，验证了等距嵌入的理论基础。