[论文解读] Understanding Deep Learning Generalization by Maximum Entropy

Guanhua Zheng, Jitao Sang+1 more|arXiv (Cornell University)|Nov 21, 2017

Model Reduction and Neural Networks参考文献 9被引用 5

一句话总结

本文提出，深度神经网络（DNNs）通过递归逼近满足最大熵（ME）原理的特征条件来实现泛化。通过将DNNs建模为ME优化的递归解法，作者表明，标准DNN组件——如跳跃连接和正则化——通过最小化信息泄漏并保持输入结构来增强泛化能力，从而从信息论的角度解释了深度学习的成功。

ABSTRACT

Deep learning achieves remarkable generalization capability with overwhelming number of model parameters. Theoretical understanding of deep learning generalization receives recent attention yet remains not fully explored. This paper attempts to provide an alternative understanding from the perspective of maximum entropy. We first derive two feature conditions that softmax regression strictly apply maximum entropy principle. DNN is then regarded as approximating the feature conditions with multilayer feature learning, and proved to be a recursive solution towards maximum entropy principle. The connection between DNN and maximum entropy well explains why typical designs such as shortcut and regularization improves model generalization, and provides instructions for future model development.

研究动机与目标

• 为深度学习在高模型容量下仍表现出强大泛化能力的现象提供理论解释。
• 确定softmax回归严格满足最大熵原理的特征条件。
• 通过约束的递归分解，将深度神经网络与最大熵框架联系起来。
• 从ME视角解释为何常见的DNN设计选择（如跳跃连接和正则化）能提升泛化能力。
• 为设计可泛化的深度学习模型提供新的理论基础。

提出的方法

• 推导出softmax回归精确满足最大熵原理的两个充分条件，称为最大熵等价定理。
• 将DNNs重新建模为一种递归优化过程，通过多层非线性特征学习逼近这些ME特征条件。
• 使用反向传播作为求解ME约束递归分解的优化机制。
• 将DNN输出层建模为softmax回归，并将隐藏层解释为学习以满足ME特征条件的特征。
• 通过证明ME解满足IB的充分条件，建立ME与信息瓶颈（IB）原理之间的理论联系。
• 将正则化和跳跃连接解释为分别减少互信息I(X;T)和保留输入信息的机制，从而与ME约束保持一致。

实验结果

研究问题

• RQ1 何种特征条件可确保softmax回归模型严格遵循最大熵原理？
• RQ2 如何将深度神经网络解释为最大熵问题的递归解法？
• RQ3 为何标准DNN组件（如跳跃连接和权重正则化）能提升泛化能力？
• RQ4 最大熵框架如何解释DNNs中信息瓶颈现象的出现？
• RQ5 ME原理能否作为理解深度学习泛化现象的统一理论基础？

主要发现

• 本文推导出softmax回归精确满足最大熵原理的两个充分条件，构成最大熵等价定理。
• DNNs被证明是ME问题的递归逼近，其中隐藏层学习满足ME条件的特征，从而最大化泛化能力。
• DNNs中的信息瓶颈现象被解释为ME框架的结果，因为ME问题的解满足IB的充分条件。
• 跳跃连接通过在各层间保留更多输入信息（X），减少递归分解过程中的信息损失，从而提升泛化能力。
• 正则化技术（如L2、Dropout和SGD）被证明可最小化I(X;T)，从而降低I(Ti;Tj|Y)的上界，与ME约束保持一致。
• 深层网络仅在通过更丰富的感受野保留足够输入信息时才能提升泛化能力，而非单纯因为深度本身。