[论文解读] Understanding Convolutional Neural Networks with Information Theory: An Initial Exploration

Shujian Yu, Kristoffer Wickstrøm+2 more|arXiv (Cornell University)|Apr 18, 2018

Neural Networks and Applications参考文献 55被引用 12

一句话总结

本文提出了一种基于矩阵的Rényi α-熵估计器，无需假设概率密度函数，即可在卷积神经网络（CNNs）中精确测量多变量互信息（MMI）。通过结合核方法与信息论框架（如部分信息分解PID），作者验证了数据处理不等式（DPI）的有效性，并揭示了特征图中的冗余与协同作用，从而实现滤波器级别的剪枝，并深入理解CNN训练的动力学机制。

ABSTRACT

The matrix-based Renyi's α-entropy functional and its multivariate extension were recently developed in terms of the normalized eigenspectrum of a Hermitian matrix of the projected data in a reproducing kernel Hilbert space (RKHS). However, the utility and possible applications of these new estimators are rather new and mostly unknown to practitioners. In this paper, we first show that our estimators enable straightforward measurement of information flow in realistic convolutional neural networks (CNN) without any approximation. Then, we introduce the partial information decomposition (PID) framework and develop three quantities to analyze the synergy and redundancy in convolutional layer representations. Our results validate two fundamental data processing inequalities and reveal some fundamental properties concerning the training of CNN.

研究动机与目标

• 为解决在CNN中估计多变量互信息（MMI）的挑战，传统方法因高维、多特征图表示而失效。
• 开发一种实用的非参数框架，基于再生核希尔伯特空间（RKHS）中的Rényi α-熵估计器，测量CNN中的信息流。
• 应用部分信息分解（PID）框架，量化卷积层中特征图之间的协同作用与冗余性。
• 在如VGG-16等真实CNN架构中，验证基本信息论原理（尤其是数据处理不等式DPI）的有效性。
• 通过基于估计互信息的信息瓶颈目标，实现滤波器级别的剪枝，识别不重要的滤波器。

提出的方法

• 利用从RKHS中核嵌入数据构建的厄米特矩阵的归一化特征谱推导出基于矩阵的Rényi α-熵功能估计器，避免了显式PDF估计。
• 通过计算多个特征图之间核矩阵的Hadamard积，将估计器扩展至多变量设置，实现输入与多特征表示之间MMI的联合估计。
• 采用部分信息分解（PID）框架，分解特征图之间的共享与独特信息，定义三个量以分析冗余与协同作用。
• 应用信息瓶颈（IB）目标 I(X;T^i) - βI(T^i;Y) 评估滤波器级别的重要性，其中β通过调优实现最优压缩与相关性平衡。
• 在CIFAR-10上对VGG-16进行验证，通过各层中 I(X;T_k) 的单调递减特性，验证DPI。
• 使用核随机化技术，将计算复杂度从 O(n³) 降低至 O(n log n)，提升大规模数据集的可扩展性。

实验结果

研究问题

• RQ1 是否可以在不假设已知概率密度函数的前提下，准确估计CNN中输入与多个特征图之间的多变量互信息（MMI）？
• RQ2 在测量深层CNN各层间信息流时，数据处理不等式（DPI）是否成立？
• RQ3 如何利用信息论分解方法，定量分析卷积层中特征图之间的协同作用与冗余性？
• RQ4 估计的互信息值在多大程度上与滤波器重要性相关，从而支持有效的网络剪枝？
• RQ5 核大小 σ 和Rényi阶数 α 等超参数如何影响CNN中信息估计的可靠性？

主要发现

• 所提出的基于矩阵的Rényi α-熵估计器可在无需PDF估计的前提下，实现CNN中多变量互信息的精确非参数估计。
• 在CIFAR-10上的VGG-16中，实验验证了数据处理不等式（DPI）的有效性，显示 I(X;T_k) 在各层间单调递减，证实了深度神经网络的马尔可夫链结构。
• 在VGG-16的CONV5-3层中，约55%的滤波器其信息瓶颈目标值高于阈值，表明其重要性较低，是剪枝的候选对象。
• 当计算512个特征图核矩阵的Hadamard积时，核矩阵的特征值谱趋于均匀，表明深层网络中信息估计趋于饱和。
• 选择Rényi阶数 α = 1.01 可近似逼近Shannon熵，而通过Silverman规则或取成对距离中位数的10–20%选择的核大小 σ，可确保估计的鲁棒性。
• 该方法可通过识别IB目标值较低的滤波器，实现滤波器级别的剪枝，表明CONV5-3层中超过一半的滤波器为冗余，可被移除而仅造成极小的精度损失。