[论文解读] Regularized Auto-Encoders Estimate Local Statistics

Guillaume Alain, Yoshua Bengio+1 more|arXiv (Cornell University)|Jan 1, 2012

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文证明，使用收缩准则训练的正则化自编码器能够估计数据生成分布的得分函数（对数密度的梯度），从而在不依赖配分函数的情况下有效捕捉局部流形结构。该方法为自编码器学习提供了一种通用的、与参数化无关的解释，即得分估计，从而实现高效的密度建模和MCMC采样。

ABSTRACT

What do auto-encoders learn about the underlying data generating distribution? Recent work suggests that some auto-encoder variants do a good job of capturing the local manifold structure of data. This paper clarifies some of these previous observations by showing that minimizing a particular form of regularized reconstruction error yields a reconstruction function that locally characterizes the shape of the data generating density. We show that the auto-encoder captures the score (derivative of the log-density with respect to the input). It contradicts previous interpretations of reconstruction error as an energy function. Unlike previous results, the theorems provided here are completely generic and do not depend on the parametrization of the auto-encoder: they show what the auto-encoder would tend to if given enough capacity and examples. These results are for a contractive training criterion we show to be similar to the denoising auto-encoder training criterion with small corruption noise, but with contraction applied on the whole reconstruction function rather than just encoder. Similarly to score matching, one can consider the proposed training criterion as a convenient alternative to maximum likelihood because it does not involve a partition function. Finally, we show how an approximate Metropolis-Hastings MCMC can be setup to recover samples from the estimated distribution, and this is confirmed in sampling experiments.

研究动机与目标

• 阐明自编码器对潜在数据分布的学习内容，特别是其在局部几何结构方面的理解。
• 证明收缩训练准则可独立于网络架构或参数化方式实现得分估计。
• 为自编码器行为提供一种通用的、受容量和数据限制的理论基础，与以往将其解释为能量模型的观点形成对比。
• 建立自编码器训练与得分匹配之间的联系，提供一种无需配分函数的最大似然替代方法。
• 通过近似梅特罗波利斯-黑斯廷斯MCMC实现从估计密度中采样，并通过实证验证其有效性。

提出的方法

• 本文提出一种收缩训练准则，对完整的重构函数施加正则化，而不仅限于编码器，从而确保对数据密度局部变化的敏感性。
• 该方法最小化一种正则化重构误差，其渐近逼近得分匹配目标，将自编码器训练与密度估计联系起来。
• 理论分析表明，在容量和数据足够充分的条件下，自编码器的重构函数会收敛至数据生成密度的得分。
• 该方法避免显式计算配分函数，因此在处理复杂分布时相较于最大似然更具计算优势。
• 利用学习到的重构函数构建一种近似梅特罗波利斯-黑斯廷斯MCMC算法，以从估计分布中生成样本。
• 训练准则被证明与小噪声下的去噪自编码器密切相关，但其收缩作用施加在整个重构函数上。

实验结果

研究问题

• RQ1 正则化自编码器对潜在数据生成分布的学习内容是什么？
• RQ2 收缩训练准则与得分匹配及最大似然估计之间有何关系？
• RQ3 自编码器的重构函数是否可被解释为对数据密度得分的估计，且与参数化方式无关？
• RQ4 所提出的方法是否可在不计算配分函数的情况下实现从估计分布的有效采样？
• RQ5 与去噪自编码器训练相比，所提出准则在学习局部数据结构方面表现如何？

主要发现

• 自编码器的重构函数渐近地估计了数据生成密度的得分，从而对数据分布提供了局部表征。
• 在极限情况下，训练准则等价于得分匹配，为最大似然提供了一种无需配分函数的替代方法。
• 结果具有通用性，不依赖于自编码器的具体参数化方式，在容量和数据充分时依然成立。
• 该方法可通过近似梅特罗波利斯-黑斯廷斯MCMC实现有效采样，实验验证结果已确认其有效性。
• 收缩准则与小噪声下的去噪自编码器密切相关，但其收缩作用施加在整个重构函数上。