[论文解读] Unpacking Information Bottlenecks: Unifying Information-Theoretic Objectives in Deep Learning

Andreas Kirsch, Clare Lyle+1 more|arXiv (Cornell University)|Mar 27, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用 10

一句话总结

该论文通过引入可计算的代理目标，统一了深度学习中的信息论目标，替代了复杂的互信息估计器。通过利用解码器不确定性与反向解码器不确定性，并结合噪声正则化，该方法实现了对ResNet等现代深度神经网络在MNIST、CIFAR-10和Imagenette上的有效训练，性能与现有基于IB的方法相当或更优，且无需依赖密度估计或复杂估计器。

ABSTRACT

The Information Bottleneck principle offers both a mechanism to explain how deep neural networks train and generalize, as well as a regularized objective with which to train models. However, multiple competing objectives are proposed in the literature, and the information-theoretic quantities used in these objectives are difficult to compute for large deep neural networks, which in turn limits their use as a training objective. In this work, we review these quantities and compare and unify previously proposed objectives, which allows us to develop surrogate objectives more friendly to optimization without relying on cumbersome tools such as density estimation. We find that these surrogate objectives allow us to apply the information bottleneck to modern neural network architectures. We demonstrate our insights on MNIST, CIFAR-10 and Imagenette with modern DNN architectures (ResNets).

研究动机与目标

• 解决将信息瓶颈（IB）目标应用于现代深度神经网络时存在的不一致性和计算挑战。
• 通过识别两个核心信息量——解码器不确定性与反向解码器不确定性，统一相互竞争的IB目标。
• 开发计算高效且与标准深度学习优化兼容的代理目标。
• 证明这些代理目标在无需复杂互信息估计的情况下，可实现与现有IB方法相当或更优的性能。
• 阐明噪声在稳定连续潜在空间中微分熵优化中的作用。

提出的方法

• 提出一种统一的IB目标，以解码器不确定性H(Y|Z)作为主要损失，反向解码器不确定性H(Z|Y)作为正则化项。
• 在潜在表示中引入噪声，以稳定微分熵估计并防止病态的优化行为。
• 推导出H(Y|Z)的可计算上界，在使用丢弃正则化时，该上界等于标准交叉熵损失。
• 对噪声特征向量使用L2正则化，作为H(Z|Y)的代理，实现端到端训练。
• 利用丢弃和高斯噪声作为隐式随机性，近似变分推理，而无需显式参数化均值和方差。
• 在图像分类基准上，使用ResNet18和MLP等标准DNN架构验证了代理目标的有效性。

实验结果

研究问题

• RQ1 如何在单一、一致的框架下统一信息瓶颈原理中相互竞争的信息论目标？
• RQ2 在深度学习中，哪些代理目标可以替代无法计算的互信息项，且无需依赖密度估计？
• RQ3 为何连续潜在空间中的微分熵会导致优化病态？如何实现稳定？
• RQ4 简单的、可微分的IB目标代理是否可实现与复杂IB方法相当或更优的性能？
• RQ5 噪声在确保连续IB目标中潜在表示有意义正则化方面起什么作用？

主要发现

• 所提出的代理目标，结合交叉熵损失与对噪声特征的L2正则化，在Permutation-MNIST上实现了与DVIB相当或更优的测试误差，且结构更简单。
• 在潜在特征中注入噪声可防止训练过程中微分熵无界下降，从而稳定优化并提升泛化性能。
• 在使用丢弃正则化时，解码器不确定性H(Y|Z)的上界在数学上等价于标准交叉熵损失，为其使用提供了理论依据。
• 通过在噪声潜在特征上使用L2正则化，可有效近似反向解码器不确定性H(Z|Y)，避免了显式密度估计的需要。
• 该方法使IB目标能有效应用于ResNet18等现代架构，在CIFAR-10和Imagenette上实现了清晰的压缩-泛化权衡，信息平面图可直观展示该特性。
• 作者证明DVIB的超参数β与本文代理目标中的γ不可直接比较，且DVIB的固定单位高斯先验限制了其灵活性，相较之下本文方法更具优势。