[论文解读] On the Maximum Mutual Information Capacity of Neural Architectures

Brandon Foggo, Nanpeng Yu|arXiv (Cornell University)|Jun 10, 2020

Neural Networks and Applications参考文献 15被引用 8

一句话总结

本文推导出一类广泛神经网络架构中输入与隐藏表征之间最大互信息（MMI）的闭式表达式，表明MMI从根本上受限于最窄隐藏层的宽度。关键洞见在于，信息保留的架构容量受此最小层维度的制约，且该结论在线性、ReLU和双射激活网络中均成立。

ABSTRACT

We derive the closed-form expression of the maximum mutual information - the maximum value of $I(X;Z)$ obtainable via training - for a broad family of neural network architectures. The quantity is essential to several branches of machine learning theory and practice. Quantitatively, we show that the maximum mutual information for these families all stem from generalizations of a single catch-all formula. Qualitatively, we show that the maximum mutual information of an architecture is most strongly influenced by the width of the smallest layer of the network - the "information bottleneck" in a different sense of the phrase, and by any statistical invariances captured by the architecture.

研究动机与目标

• 推导在一类广泛神经网络架构中，输入与隐藏表征之间可实现的最大互信息（MMI）。
• 识别从根本上限制神经网络信息容量的架构因素，特别是从互信息的角度出发。
• 通过揭示线性、ReLU和双射激活函数在MMI公式上的共性，统一不同激活类型下的洞察，表明它们均依赖于最小层宽度的统一MMI公式。
• 为理解架构设计如何影响深度学习中表征复杂度与泛化潜力，提供理论基础。

提出的方法

• 将MMI定义为所有可训练参数θ下I(X;Z_θ)的上确界，其中Z_θ为最终隐藏表征。
• 运用信息论工具，包括微分熵和雅可比行列式，分析不同激活函数下的互信息。
• 应用数据处理不等式和强数据处理不等式，以I(X;Z)为基准界定表征质量损失的上界。
• 证明对于双射激活函数，I(X;Z) = I(X;A)，其中A为预激活表征，这是由于可逆变换保持熵不变。
• 通过分析权重重心矩阵积的秩及各层中的最小隐藏维度，将单层结果推广至多层全连接网络。
• 证明当权重矩阵满足Frobenius范数约束时，互信息达到最大值，从而导出依赖于最小层宽度的闭式解。

实验结果

研究问题

• RQ1 对于给定的神经网络架构，输入与隐藏表征之间互信息的理论上限是什么？
• RQ2 最窄隐藏层的宽度在多大程度上影响神经网络的最大信息容量？
• RQ3 不同激活函数（线性、ReLU、双射）在多大程度上收敛于相同的MMI公式？
• RQ4 是否可以为多层全连接网络解析推导出最大互信息？其主导的架构参数是什么？
• RQ5 架构设计在多大程度上影响学习良好表征的潜力，该潜力通过与输入和标签变量的互信息来衡量？

主要发现

• 对于一类广泛神经架构，最大互信息（MMI）由最小隐藏层宽度决定，记为K层网络中的$\tilde{N} = \min(N_0, N_1, \dots, N_K)$。
• 对于线性及ReLU激活的全连接网络，MMI由一个闭式表达式给出，该表达式可统一为一个通用公式，其中最小层宽度是主导的架构因素。
• 对于Sigmoid、Tanh和SELU等双射激活函数，互信息$I(X;Z)$精确等于$I(X;A)$，其中A为预激活表征，这是由于可逆变换保持熵不变。
• 在多层网络中，即使各隐藏层维度不同，互信息仍受最小层宽度的制约。
• 该结果具有普适性：单层、多层、全连接及卷积网络（经小幅调整）均表现出相同的MMI基本行为。
• 对$I(X;Z)$的理论上限提供了指导架构设计的合理依据，通过强制实现期望的信息容量，可有效缩小训练过程中的搜索空间。