[论文解读] Simple and Effective VAE Training with Calibrated Decoders

Oleh Rybkin, Kostas Daniilidis+1 more|arXiv (Cornell University)|Jun 23, 2020

Digital Media Forensic Detection参考文献 65被引用 35

一句话总结

本文分析对 VAEs 的经过标定的解码器，提出具有解析方差估计的 sigma-VAE，并显示其在消除 beta 超参数调优的同时提升图像和视频数据集的生成质量。

ABSTRACT

Variational autoencoders (VAEs) provide an effective and simple method for modeling complex distributions. However, training VAEs often requires considerable hyperparameter tuning to determine the optimal amount of information retained by the latent variable. We study the impact of calibrated decoders, which learn the uncertainty of the decoding distribution and can determine this amount of information automatically, on the VAE performance. While many methods for learning calibrated decoders have been proposed, many of the recent papers that employ VAEs rely on heuristic hyperparameters and ad-hoc modifications instead. We perform the first comprehensive comparative analysis of calibrated decoder and provide recommendations for simple and effective VAE training. Our analysis covers a range of image and video datasets and several single-image and sequential VAE models. We further propose a simple but novel modification to the commonly used Gaussian decoder, which computes the prediction variance analytically. We observe empirically that using heuristic modifications is not necessary with our method. Project website is at https://orybkin.github.io/sigma-vae/

研究动机与目标

• 评估经过标定的解码器在不进行手动 beta 调整的情况下对 VAE 性能的影响。
• 确定能产生良好校准不确定性并稳定训练的解码器参数化。
• 开发一种简单的、解析的设定解码器方差的方法，并与基于梯度的学习进行比较。
• 在多种图像和视频数据集及模型类型上评估经过标定的解码器。

提出的方法

• 审查并比较高斯和离散解码器的各种经过标定的解码器架构。
• 提出一个具有单一共享方差的高斯解码器，以及一个解析的最优方差公式（the sigma-VAE）。
• 将经过标定的解码器与 beta-VAE 联系起来，并展示标定如何对应于对解码器不确定性的建模。
• 公式 L = D ln sigma + (D/(2 sigma^2)) MSE(x, x̂) + KL(q(z|x)||p(z))。
• 探索逐像素、逐图像和共享方差解码器，并分析稳定性及对互信息 MI 和先验匹配的影响。
• 在 SVHN、CelebA、CIFAR、和 BAIR SVG 的单图像和序列 VAE 模型上进行经验评估。

实验结果

研究问题

• RQ1 在不同数据集和架构中，标定解码器是否消除了在 VAE 中调优 KL 权重 beta 的需要？
• RQ2 哪些解码器参数化能产生良好校准的不确定性并实现稳定训练？
• RQ3 解码器方差的解析解是否能提高学习速度和样本质量？
• RQ4 标定解码器如何影响潜在变量的信息量和先验对齐？
• RQ5 就 ELBO、FID 与样本质量而言，逐像素与共享方差的实际权衡是什么？

主要发现

• 经标定的解码器无需手动调节 beta 即可达到或超过 beta-VAE 的性能，并提升 ELBO 与样本质量。
• 具有共享方差的高斯解码器（sigma-VAE）通常优于单位方差解码器和经过调参的 beta-VAE 设置。
• 解析的最优方差解（optimal sigma-VAE）比梯度学习的方差更快收敛且对数似然更高。
• 逐像素方差解码器相较于共享或逐图像变体，可能降低样本质量和先验对齐。
• 基于最优 sigma 的方法在多数据集和多模型类型上实现了强劲的 ELBO 与样本质量。