[论文解读] The Role of Information Complexity and Randomization in Representation Learning

Matías Vera, Pablo Piantanida+1 more|arXiv (Cornell University)|Feb 14, 2018

Adversarial Robustness in Machine Learning参考文献 47被引用 6

一句话总结

本文提出了一种用于表示学习中交叉熵损失的样本相关泛化界，该泛化界与神经网络表示的信息复杂度（IC）成比例——IC定义为输入与表示之间互信息。实证结果表明，随机梯度下降（SGD）隐式最小化IC，理论分析进一步将丢弃正则化与表示容量降低联系起来，为噪声注入如何提升泛化性能提供了信息论解释。

ABSTRACT

A grand challenge in representation learning is to learn the different explanatory factors of variation behind the high dimen- sional data. Encoder models are often determined to optimize performance on training data when the real objective is to generalize well to unseen data. Although there is enough numerical evidence suggesting that noise injection (during training) at the representation level might improve the generalization ability of encoders, an information-theoretic understanding of this principle remains elusive. This paper presents a sample-dependent bound on the generalization gap of the cross-entropy loss that scales with the information complexity (IC) of the representations, meaning the mutual information between inputs and their representations. The IC is empirically investigated for standard multi-layer neural networks with SGD on MNIST and CIFAR-10 datasets; the behaviour of the gap and the IC appear to be in direct correlation, suggesting that SGD selects encoders to implicitly minimize the IC. We specialize the IC to study the role of Dropout on the generalization capacity of deep encoders which is shown to be directly related to the encoder capacity, being a measure of the distinguishability among samples from their representations. Our results support some recent regularization methods.

研究动机与目标

• 理解深度表示学习中泛化性能背后的信息论机制。
• 建立一个依赖于学习表示信息复杂度（IC）的泛化差距理论界。
• 研究随机化编码器（如使用丢弃或噪声注入的模型）对泛化能力的影响。
• 将SGD中的隐式正则化与IC最小化联系起来，为现有经验实践提供理论基础。

提出的方法

• 推导出一种样本依赖的交叉熵损失泛化界，其规模与信息复杂度（IC）成比例，IC定义为输入X与表示U之间的互信息I(X;U)。
• 利用McDiarmid不等式和Pinsker不等式，对经验估计下微熵和互信息的偏差进行上界估计。
• 在MNIST和CIFAR-10上对使用SGD训练的多层神经网络进行IC的实证评估，分析IC与泛化差距的相关性。
• 将IC框架特化以分析丢弃机制，表明其通过限制表示之间的可区分性来降低编码器容量。
• 应用对称化与集中不等式，对真实与经验微熵及互信息之间的差异进行上界估计。
• 利用引理15将表示分布的方差与互信息关联，从而实现基于IC的泛化界推导。

实验结果

研究问题

• RQ1 表示的信息复杂度（IC）与深度神经网络中的泛化差距之间有何关系？
• RQ2 能否推导出一个显式依赖于输入与表示之间互信息的泛化差距理论界？
• RQ3 随机梯度下降（SGD）在训练过程中是否隐式最小化信息复杂度？
• RQ4 丢弃在通过信息论度量控制编码器容量方面起什么作用？
• RQ5 在潜在空间中，表示层面的噪声注入如何影响样本的可区分性？

主要发现

• 实证结果表明，交叉熵损失的泛化差距与信息复杂度（IC）成正比，表明SGD通过隐式最小化IC来提升泛化性能。
• 在MNIST和CIFAR-10上，IC与泛化差距之间的相关性在多次训练运行中均表现强烈且一致，支持IC隐式最小化的假设。
• 实证表明，丢弃通过限制表示的可区分性来降低编码器容量，这与它在提升泛化性能中的作用一致。
• 理论分析证实，互信息I(X;U)可对泛化差距进行上界估计，且当IC较低时可获得更紧的界。
• 通过Pinsker不等式，表示分布的方差与互信息相关联，从而支持基于IC的界推导。
• 实证结果验证了通过噪声注入或丢弃降低IC可导致更低的泛化误差，支持其作为隐式正则化器的有效性。