[论文解读] Visualizing Transfer Learning

Róbert Szabó, Dániel Katona+3 more|arXiv (Cornell University)|Jul 15, 2020

Cell Image Analysis Techniques参考文献 17被引用 6

一句话总结

本文通过使用基于StyleGAN2的生成先验进行激活最大化，对ImageNet微调至较小数据集（CelebA、Flowers17、Animals）过程中InceptionV1深层网络中单个神经元的可视化进行了研究。结果揭示了动态适应、神经元复用、空间特征缩放以及小样本数据下的行为特征，为微调过程中特征演化提供了定性洞察。完整数据集约30,000个可视化结果已公开，访问地址为https://bit.ly/visualizing-transfer-learning。

ABSTRACT

We provide visualizations of individual neurons of a deep image recognition network during the temporal process of transfer learning. These visualizations qualitatively demonstrate various novel properties of the transfer learning process regarding the speed and characteristics of adaptation, neuron reuse, spatial scale of the represented image features, and behavior of transfer learning to small data. We publish the large-scale dataset that we have created for the purposes of this analysis.

研究动机与目标

• 理解深度卷积网络在迁移学习过程中单个神经元的动态行为。
• 通过结合生成先验的激活最大化方法，可视化微调过程中特征随时间的演化过程。
• 研究不同层和数据集之间神经元复用、特征空间尺度变化以及适应速度。
• 提供一个大规模、可浏览的30,000个神经元可视化数据集，供公众分析与可复现性研究。

提出的方法

• 通过梯度上升法进行激活最大化，生成单个神经元的可视化结果，优化目标为通道的平均池化激活值。
• 采用StyleGAN2生成器作为感知先验，将优化过程约束在真实人脸图像的流形空间内，从而提升可视化结果的可解释性。
• 将该方法应用于在CelebA、Flowers17和Animals数据集上微调的批量归一化InceptionV1模型。
• 通过重复优化运行评估可视化结果的稳定性和多样性，并通过修改滤波器权重进行消融实验。
• 在多个训练迭代和网络层深度下可视化迁移学习过程，对比微调前后的状态。
• 通过Lucid方法与StyleGAN2方法生成的可视化结果进行并排对比，以验证并优化解释结果。

实验结果

研究问题

• RQ1 深层网络中的单个神经元在迁移学习过程中如何适应？其适应过程具有怎样的时间动态特征？
• RQ2 在小样本数据集上微调时，神经元在多大程度上被复用或重新配置？
• RQ3 神经元所表征的特征的空间尺度在迁移学习过程中如何变化？
• RQ4 与标准激活最大化相比，StyleGAN2等生成先验在提升特征可视化可解释性方面有何优势？
• RQ5 修改单个滤波器权重对最终神经元可视化结果有何影响？这反映了特征的何种鲁棒性特征？

主要发现

• InceptionV1网络深层神经元对完整人脸图像表现出强烈敏感性，其可视化结果能够捕捉到复杂的面部特征。
• 基于StyleGAN2先验生成的可视化结果为逼真的人脸图像，且常与Lucid方法生成的结果高度一致，进一步验证了共享底层特征的存在。
• 重复优化运行收敛于相似但不完全相同的可视化结果，表明局部最优解具有稳定性，但优化过程本身具有内在随机性。
• 部分神经元可视化对微小权重扰动极为敏感——尤其是当最高权重滤波器被取反时——表明某些特征对神经元激活至关重要。
• 可视化结果揭示，迁移学习过程具有阶段性特征：早期适应快速且局部化，后期则涉及全局特征的精细化调整。
• 在四个数据集上生成的约30,000个可视化结果构成一个全面、可浏览的资源，可用于深入研究迁移学习的动力学机制。