[论文解读] What Information Does a ResNet Compress?

Luke Nicholas Darlow, Amos Storkey|arXiv (Cornell University)|Mar 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 4

一句话总结

该论文通过使用PixelCNN++解码器估计隐藏层与输入之间的互信息（MI），检验了信息瓶颈（IB）原理是否适用于在真实图像数据上训练的现代ResNet架构。研究发现存在两阶段学习过程——先短暂增加MI，随后发生压缩——表明ResNets会丢弃与类别无关的细节（如背景颜色、纹理），从而生成多样化但语义一致的样本，视觉上展示了为泛化而进行的有效压缩。

ABSTRACT

The information bottleneck principle (Shwartz-Ziv & Tishby, 2017) suggests that SGD-based training of deep neural networks results in optimally compressed hidden layers, from an information theoretic perspective. However, this claim was established on toy data. The goal of the work we present here is to test whether the information bottleneck principle is applicable to a realistic setting using a larger and deeper convolutional architecture, a ResNet model. We trained PixelCNN++ models as inverse representation decoders to measure the mutual information between hidden layers of a ResNet and input image data, when trained for (1) classification and (2) autoencoding. We find that two stages of learning happen for both training regimes, and that compression does occur, even for an autoencoder. Sampling images by conditioning on hidden layers' activations offers an intuitive visualisation to understand what a ResNets learns to forget.

研究动机与目标

• 检验信息瓶颈（IB）原理在现代ResNet架构于真实深度学习场景下的适用性。
• 开发一种在高维真实世界数据中估计隐藏层与输入图像之间互信息（MI）的方法。
• 可视化ResNets在训练过程中学习压缩的信息，特别是与类别无关的特征。
• 比较分类与自编码训练范式下MI动态变化与表征质量的差异。
• 通过直观的条件图像生成，为深度网络中的压缩现象提供实证证据。

提出的方法

• 使用作为逆解码器的条件PixelCNN++模型，估计ResNet隐藏层与输入图像之间互信息（MI）的下界。
• 训练PixelCNN++以条件生成图像，基于特定ResNet层（如h₃、h₄）的激活值，从而实现对保留信息的可视化解释。
• 在分类与自编码设置中，追踪训练过程中MI随时间的变化，以识别学习阶段。
• 利用训练后解码器的条件采样，说明表征的演化过程——展示哪些信息被保留或丢弃。
• 比较初始化、早期训练与最终权重下的MI值，以检测压缩趋势。
• 将信息瓶颈框架应用于在ImageNet类数据上训练的现代深度卷积网络（ResNet），拓展了以往基于简化模型的研究。

实验结果

研究问题

• RQ1 信息瓶颈原理是否在真实图像数据上训练的现代ResNet中显现？
• RQ2 在分类与自编码训练范式下，隐藏层与输入图像之间的互信息如何随训练过程演变？
• RQ3 ResNet学习压缩的特征类型是什么——具体而言，哪些特征被丢弃，哪些被保留？
• RQ4 能否通过隐藏层激活值的条件图像生成，直观地可视化表征压缩过程？
• RQ5 是否存在两阶段学习过程，即先短暂增加MI，随后持续下降，如IB框架所预测？

主要发现

• 观察到两个明显的学习阶段：隐藏层与输入数据之间的互信息（MI）先出现短暂上升，随后持续下降，表明存在压缩过程。
• 第三层ResNet（h₃）与输入图像之间的互信息在200个训练周期内显著下降，证实了隐藏表征中的压缩现象。
• 从后期激活值（如200个周期）生成的条件样本表现出更高的多样性，同时保持了类别身份的一致性，表明对类别无关特征（如背景颜色、纹理）的有效抑制。
• 即使在初始化阶段，随机权重也足以使信息传播，生成可识别但质量较差的样本，表明初始表征并非完全随机或无结构。
• 网络学习到了前景与背景颜色的部分不变性：特定颜色被丢弃，从而生成多样但语义一致的样本（如天空或草地颜色各异的马）。
• PixelCNN++解码器框架成功可视化了压缩表征的质量，表明压缩后的特征保留了与任务相关的结构，同时舍弃了噪声和无关细节。