[论文解读] Robust Variational Autoencoder

Haleh Akrami, Anand A. Joshi+3 more|arXiv (Cornell University)|May 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 15

一句话总结

本文提出了一种鲁棒变分自编码器（RVAE），使用β-散度替代标准的Kullback-Leibler散度，以提高训练数据中异常值的鲁棒性。通过在变分推断目标中用β-散度替代KL散度，模型在保持相同计算复杂度的同时，有效抑制了异常值的编码，实现了可靠的表征学习，并在图像数据（包括医学脑部MRI）中实现了改进的异常检测。

ABSTRACT

Machine learning methods often need a large amount of labeled training data. Since the training data is assumed to be the ground truth, outliers can severely degrade learned representations and performance of trained models. Here we apply concepts from robust statistics to derive a novel variational autoencoder that is robust to outliers in the training data. Variational autoencoders (VAEs) extract a lower-dimensional encoded feature representation from which we can generate new data samples. Robustness of autoencoders to outliers is critical for generating a reliable representation of particular data types in the encoded space when using corrupted training data. Our robust VAE is based on beta-divergence rather than the standard Kullback-Leibler (KL) divergence. Our proposed lower bound lead to a RVAE model that has the same computational complexity as the VAE and contains a single tuning parameter to control the degree of robustness. We demonstrate the performance of our $β$-divergence based autoencoder for a range of image datasets, showing improved robustness to outliers both qualitatively and quantitatively. We also illustrate the use of our robust VAE for outlier detection.

研究动机与目标

• 解决由于训练数据中存在异常值而导致变分自编码器性能下降的问题。
• 开发一种概率生成模型，即使在数据被污染或标签错误的情况下仍保持鲁棒性，且无需清洁数据或复杂的结构修改。
• 通过确保异常值不会在潜在空间中被重建或编码，实现有效的异常值检测。
• 提供一个单一、可调超参数（β），用于控制模型的鲁棒性程度。
• 在基准图像数据集和包含模拟与真实病灶的医学影像数据上，展示该方法的有效性。

提出的方法

• 在VAE目标函数中，用来自稳健统计学的β-散度替代标准的Kullback-Leibler（KL）散度。
• 利用β-散度推导证据下界（ELBO）的下界，得到一种新的目标函数，该函数降低了异常值的影响。
• 将β-散度框架应用于伯努利和高斯似然模型，使其适用于二值和连续图像数据。
• 使用随机梯度下降优化所得目标函数，保持与标准VAE相同的计算复杂度。
• 提出一种基于视觉的方法，通过检查生成和重建样本的可变性与真实感，来选择最优β值。
• 通过在名义正常的脑部MRI数据上进行训练，并在模拟和真实病灶上评估性能，将该框架扩展至医学影像领域。

实验结果

研究问题

• RQ1 在VAE目标中用β-散度替代KL散度，能否提高训练数据中异常值的鲁棒性？
• RQ2 β参数的选择如何影响模型在重建正常样本的同时避免异常值编码的能力？
• RQ3 所提出的RVAE能否通过识别较大的重建误差，在训练集中存在异常值的情况下检测测试图像中的异常？
• RQ4 在真实医学影像数据上，RVAE在重建质量与异常检测AUC方面与标准VAE相比表现如何？
• RQ5 基于β-散度的方法是否可通过生成和重建样本的视觉检查有效调优，以实现鲁棒性与生成多样性之间的最优平衡？

主要发现

• 在包含模拟异常值的脑部MRI数据中，RVAE在病灶检测的受试者工作特征曲线下面积（AUC）达到0.85，而标准VAE仅为0.20，表明在异常检测方面具有显著的定量优势。
• 当β = 0.0007时，异常值的重建图像与潜在空间生成的样本在视觉上无法区分，表明异常值被投影到了正常数据流形上。
• 在含10%异常值的Fashion-MNIST数据集中，模型在β = 0.0007时达到最优的重建质量与生成多样性，该结果经重建相似性热图分析得到验证。
• RVAE成功抑制了脑部MRI中模拟和真实病灶的重建，使通过重建误差实现清晰检测成为可能，而标准VAE则将病灶重建为看似合理的正常样本。
• 该模型在保持与标准VAE相同计算复杂度的同时，仅引入一个可调超参数（β），使其在实际部署中更具实用性。
• 对生成和重建样本的视觉检查在识别最优β值方面表现有效，表明这是一种实用的、非自动化的超参数选择方法，未来可结合对抗训练进一步扩展。