[论文解读] Rate-Distortion Auto-Encoders

Luis G. Sánchez Giraldo, José C. Prı́ncipe|arXiv (Cornell University)|Dec 28, 2013

Neural Networks and Applications参考文献 5被引用 8

一句话总结

该论文提出率失真自编码器，在重建保真度约束下最小化输入与表征之间的互信息，采用基于无限可分矩阵的非参数熵估计方法。该方法隐式正则化过完备自编码器，无需显式稀疏性或权重重用，即可学习到解耦的、结构化的表征，在高斯混合分布和MNIST数字数据上均得到验证。

ABSTRACT

A rekindled the interest in auto-encoder algorithms has been spurred by recent work on deep learning. Current efforts have been directed towards effective training of auto-encoder architectures with a large number of coding units. Here, we propose a learning algorithm for auto-encoders based on a rate-distortion objective that minimizes the mutual information between the inputs and the outputs of the auto-encoder subject to a fidelity constraint. The goal is to learn a representation that is minimally committed to the input data, but that is rich enough to reconstruct the inputs up to certain level of distortion. Minimizing the mutual information acts as a regularization term whereas the fidelity constraint can be understood as a risk functional in the conventional statistical learning setting. The proposed algorithm uses a recently introduced measure of entropy based on infinitely divisible matrices that avoids the plug in estimation of densities. Experiments using over-complete bases show that the rate-distortion auto-encoders can learn a regularized input-output mapping in an implicit manner.

研究动机与目标

• 开发一种自编码器的学习目标，平衡压缩（低互信息）与重建保真度。
• 解决过完备自编码器中的过拟合问题，而无需依赖权重衰减或稀疏性等显式正则化方法。
• 提供一种可扩展的训练算法，通过基于无限可分矩阵的新型熵估计方法避免密度估计。
• 证明率失真目标可导致合成数据与真实世界数据中具有意义的、解耦的表征。
• 探讨信息论目标与自编码器训练中参数更新结构之间的联系。

提出的方法

• 将自编码器训练目标表述为在重建失真约束 E[D(X, X̂)] ≤ D 下最小化互信息 I(X;Z)，受率失真理论启发。
• 采用基于无限可分矩阵的非参数熵估计器，避免插值密度估计，支持基于梯度的优化。
• 使用带宽参数 σx 的核方法近似熵项，以平滑经验分布。
• 采用按聚类排序的随机小批量梯度下降算法，改善熵估计器中使用的格拉姆矩阵的条件性。
• 将编码器和解码器均训练为前馈神经网络，不使用权重重用，以实现灵活的非线性映射。
• 通过控制两项相对权重的超参数 μ，优化重建误差与互信息之间的权衡。

实验结果

研究问题

• RQ1 率失真目标能否作为过完备自编码器的合理正则化机制？
• RQ2 最小化输入与潜在表征之间互信息，对学习特征的质量与结构有何影响？
• RQ3 基于无限可分矩阵的熵估计器是否能在无需密度估计的情况下实现有效训练？
• RQ4 在无显式约束（如稀疏性或权重重用）的情况下，率失真目标是否能导致解耦或有意义的表征？
• RQ5 学习表征的结构（如斑块、笔画、完整数字）如何随失真权衡参数 μ 的变化而变化？

主要发现

• 在具有二维分量的高斯混合分布上，率失真自编码器即使在使用20个隐藏单元且无显式瓶颈的情况下，仍学习到与主曲线对齐的表征。
• 该方法产生了清晰的能谷结构，且在数据密集区域具有明确的能级图，表明重建结果稳健且具有结构性。
• 在MNIST数据上，自编码器在无稀疏性约束或预设噪声模型的情况下，学习到了局部化、类似笔画的特征；随着失真容忍度提高，特征从斑块逐渐演化为完整数字。
• 采用基于聚类的小批量策略改善了格拉姆矩阵的条件性，提升了熵估计与训练的稳定性。
• 未使用权重重用与显式正则化并未导致平凡解，证明了互信息最小化作为正则化器的有效性。
• 权衡参数 μ 控制归纳偏置：μ 较低时产生更压缩、更结构化的表征，μ 较高时则允许更丰富、更详细的重建。