[论文解读] Understanding Convolutional Neural Network Training with Information Theory.

Shujian Yu, Robert Jenssen+1 more|arXiv (Cornell University)|Apr 18, 2018

Neural Networks and Applications被引用 12

一句话总结

本文提出了一种基于矩阵的Rényi α-熵的多变量扩展方法，利用信息论分析卷积神经网络（CNN）的训练动态。该研究在真实世界的CNN中验证了基本的数据处理不等式，为学习动态和网络架构设计提供了新见解。

ABSTRACT

Using information theoretic concepts to understand and explore the inner organization of deep neural networks (DNNs) remains a big challenge. Recently, the concept of an information plane began to shed light on the analysis of multilayer perceptrons (MLPs). We provided an in-depth insight into stacked autoencoders (SAEs) using a novel matrix-based Renyi's {\alpha}-entropy functional, enabling for the first time the analysis of the dynamics of learning using information flow in real-world scenario involving complex network architecture and large data. Despite the great potential of these past works, there are several open questions when it comes to applying information theoretic concepts to understand convolutional neural networks (CNNs). These include for instance the accurate estimation of information quantities among multiple variables, and the many different training methodologies. By extending the novel matrix-based Renyi's {\alpha}-entropy functional to a multivariate scenario, this paper presents a systematic method to analyze CNNs training using information theory. Our results validate two fundamental data processing inequalities in CNNs, and also have direct impacts on previous work concerning the training and design of CNNs.

研究动机与目标

• 为解决卷积神经网络（CNN）中系统性信息论分析的缺乏，特别是多变量信息量的精确估计问题。
• 将基于矩阵的Rényi α-熵泛函扩展至多变量框架，以分析复杂的CNN架构。
• 研究信息在CNN训练过程中的流动方式，特别是在不同训练方法下的表现。
• 在真实世界的CNN训练场景中验证基本的数据处理不等式。
• 基于信息论原则，为CNN的设计与优化提供新的理论与实践见解。

提出的方法

• 将基于矩阵的Rényi α-熵泛函扩展至多变量设置，以实现对CNN中多层间信息流动的分析。
• 将扩展后的泛函应用于量化具有复杂真实数据和网络结构的深度架构中的互信息与熵。
• 利用多变量Rényi α-熵估计CNN特征表示中多个变量之间的信息量。
• 通过追踪反向传播和优化过程中各层间的信息流动，分析训练动态。
• 通过测量各层间的信息损失与变换，验证理论上的数据处理不等式。
• 采用系统性框架比较不同训练策略与网络架构中的信息流动。

实验结果

研究问题

• RQ1 多变量信息论如何有效应用于分析卷积神经网络的训练动态？
• RQ2 基本数据处理不等式在真实世界的CNN训练场景中在多大程度上成立？
• RQ3 所提出的多变量Rényi α-熵泛函在深度网络中如何改进信息量的估计？
• RQ4 信息流动分析为CNN的内部组织结构与学习行为提供了哪些见解？
• RQ5 不同的训练方法如何通过信息论度量影响CNN中的信息处理？

主要发现

• 所提出的基于矩阵的Rényi α-熵的多变量扩展方法，能够准确估计复杂CNN架构中的信息量。
• 本研究在真实世界的CNN训练中验证了两项基本数据处理不等式，证实了理论预期在实际场景中的成立。
• 信息流动分析揭示了训练过程中各层间信息损失与变换的显著模式。
• 该方法为CNN的内部组织结构提供了新见解，支持更优的网络设计与训练策略。
• 该框架在多种训练方法中表现出一致的性能，凸显其鲁棒性与泛化能力。