[论文解读] Understanding Autoencoders with Information Theoretic Concepts

Shujian Yu, José C. Prı́ncipe|arXiv (Cornell University)|Mar 30, 2018

Statistical Mechanics and Entropy被引用 13

一句话总结

本文提出了一种基于矩阵的Rényi α-熵估计器的信息论新框架，用于分析自编码器训练动力学，揭示了层间互信息流动的三个基本特性。研究证明了在高维空间中数据处理不等式成立，并在信息平面上识别出与最优瓶颈层大小相关的分岔点，为自编码器设计与泛化提供了洞见。

ABSTRACT

Despite their great success in practical applications, there is still a lack of theoretical and systematic methods to analyze deep neural networks. In this paper, we illustrate an advanced information theoretic methodology to understand the dynamics of learning and the design of autoencoders, a special type of deep learning architectures that resembles a communication channel. By generalizing the information plane to any cost function, and inspecting the roles and dynamics of different layers using layer-wise information quantities, we emphasize the role that mutual information plays in quantifying learning from data. We further suggest and also experimentally validate, for mean square error training, three fundamental properties regarding the layer-wise flow of information and intrinsic dimensionality of the bottleneck layer, using respectively the data processing inequality and the identification of a bifurcation point in the information plane that is controlled by the given data. Our observations have a direct impact on the optimal design of autoencoders, the design of alternative feedforward training methods, and even in the problem of generalization.

研究动机与目标

• 通过应用信息论，填补深度神经网络（特别是自编码器）缺乏理论分析框架的空白。
• 开发一种实用且精确的高维深度神经网络激活中互信息估计方法，无需显式概率密度函数（PDF）估计。
• 揭示自编码器训练过程中信息流动的基本特性，这些特性与泛化能力和网络结构设计相关。
• 在真实世界数据集上验证所提出的理论框架，并展示其在识别最优训练阶段和层配置方面的实用性。

提出的方法

• 使用基于矩阵的Rényi α-熵泛函，于再生核希尔伯特空间（RKHS）中估计熵与互信息，避免直接进行PDF估计。
• 应用Rényi互信息的经验估计器，计算堆叠自编码器（SAEs）中多层的层间信息量。
• 通过整合编码器与解码器层之间的互信息动态，将信息平面概念推广至任意代价函数。
• 将数据处理不等式（DPI）作为理论基准，验证高维设置下互信息估计器的一致性。
• 在信息平面上引入分岔点分析，基于信息流动行为识别最优瓶颈层大小。
• 使用真实世界数据集验证结果，训练SAEs时采用均方误差损失，对比信息流动与分类准确率。

实验结果

研究问题

• RQ1 在不依赖PDF估计的前提下，如何在高维空间中准确估计自编码器中的互信息流动？
• RQ2 哪些基本特性支配堆叠自编码器中层间信息流动的动力学？
• RQ3 激活函数的选择（如ReLU与Sigmoid）如何影响信息平面上观察到的压缩阶段？
• RQ4 信息平面上的分岔点能否用于确定最优瓶颈层大小以实现良好泛化？
• RQ5 不同互信息估计器在多大程度上影响信息平面的观测行为，例如压缩阶段的存在与否？

主要发现

• 基于矩阵的Rényi α-熵估计器可在高维空间（高达约1,000维）中实现精确的互信息估计，同时保持理论预期，如数据处理不等式。
• 信息平面上的分岔点被识别为最优瓶颈层大小的关键指标，训练过程中在该点附近观察到最大分类准确率。
• 对于均方误差训练，层间互信息流动表现出三个基本特性：编码器信息单调递减、瓶颈处存在压缩阶段、解码器中出现信息恢复阶段。
• 压缩阶段并非仅依赖于非线性类型（如Sigmoid与ReLU），而是显著受互信息估计器选择的影响，KDE与KNN方法表现出不同行为。
• 即使使用ReLU激活函数，使用所提估计器时信息平面上仍可观察到清晰的压缩阶段，这与早期认为ReLU会阻止压缩的观点相矛盾。
• 最优泛化训练阶段对应于信息平面曲线的拐点，此时瓶颈层在压缩与表征保真度之间达到最佳权衡。