[论文解读] Training VAEs Under Structured Residuals

Garoe Dorta, Sara Vicente+3 more|arXiv (Cornell University)|Apr 3, 2018

Industrial Vision Systems and Defect Detection参考文献 28被引用 6

一句话总结

本文提出了一种新型变分自编码器（VAE）架构，通过可学习的协方差矩阵预测网络建模结构化的残差相关性，从而实现更逼真的图像生成与重建。通过以极低的参数开销将结构化不确定性引入似然函数，该方法在CelebA和LSUN Churches数据集上显著提升了似然度与重建质量，相较于因子化高斯VAE。

ABSTRACT

Variational auto-encoders (VAEs) are a popular and powerful deep generative model. Previous works on VAEs have assumed a factorized likelihood model, whereby the output uncertainty of each pixel is assumed to be independent. This approximation is clearly limited as demonstrated by observing a residual image from a VAE reconstruction, which often possess a high level of structure. This paper demonstrates a novel scheme to incorporate a structured Gaussian likelihood prediction network within the VAE that allows the residual correlations to be modeled. Our novel architecture, with minimal increase in complexity, incorporates the covariance matrix prediction within the VAE. We also propose a new mechanism for allowing structured uncertainty on color images. Furthermore, we provide a scheme for effectively training this model, and include some suggestions for improving performance in terms of efficiency or modeling longer range correlations.

研究动机与目标

• 为解决VAE中因子化高斯似然函数的局限性，后者假设像素级不确定性独立，无法建模残差中的空间结构。
• 开发一种可扩展的方法，将结构化的协方差预测整合到VAE中，而不会显著增加模型复杂度。
• 实现具有相关似然函数的VAE的有效训练，避免陷入不良局部极小值，并提升高频图像细节的性能。
• 通过基于YCbCr的方法将结构化不确定性建模扩展到彩色图像，以提升感知质量。

提出的方法

• 提出一种新型VAE架构，通过专用子网络从潜在码预测完整的协方差矩阵，实现结构化高斯似然。
• 采用参数高效的结构，限制额外参数数量，避免全协方差矩阵带来的$O(n_p^2)$开销。
• 采用YCbCr色彩空间变换以解耦亮度与色度，使彩色图像的结构化不确定性建模成为可能。
• 引入一种训练方案，通过鼓励VAE减少方差而非通过协方差建模残差误差，从而稳定优化过程。
• 基于[7]中的协方差预测机制，采用空洞卷积和稀疏模式，高效建模长程相关性。
• 在生成过程中应用重参数化技巧，从结构化高斯似然中采样，确保可微训练。

实验结果

研究问题

• RQ1 能否通过可学习的协方差矩阵预测网络有效建模VAE重建中的结构化残差相关性？
• RQ2 与因子化高斯似然相比，引入结构化不确定性是否能提升VAE的似然度与重建质量？
• RQ3 尽管协方差建模的复杂度增加，该方法是否能保持训练稳定性并避免陷入不良局部极小值？
• RQ4 与标准VAE相比，该模型在头发、皱纹等高频图像细节上的表现如何？
• RQ5 该方法能否扩展到彩色图像，同时保持感知质量与计算效率？

主要发现

• 所提出的具有结构化残差的VAE在LSUN Churches数据集上实现了$-6918 \pm 2423$的负对数似然（NLL），显著优于具有对角线和球形似然的VAE。
• 在CelebA数据集上，该模型生成了更清晰的重建结果与样本，能够保留如皱纹和头发等高频细节，而基线VAE则出现模糊或缺失。
• 在LSUN上，该模型将重建均方误差降低至$614 \pm 286$，优于对角线VAE（$728 \pm 327$）与$\beta$-VAE（$800 \pm 354$），尽管KL散度相近。
• 该模型生成的样本表现出更优的感知质量，具有更结构化的噪声，能够捕捉精细纹理，而标准VAE的输出则过度平滑。
• 结构化不确定性分支成功建模了复杂且具有空间相关性的残差，即使在教堂内部等复杂场景中也未影响训练稳定性。
• 通过在协方差预测网络中采用空洞卷积与稀疏模式，该方法有效实现了长程相关性的建模。