[论文解读] Paradox in Deep Neural Networks: Similar yet Different while Different yet Similar

Arash Akbarinia, Karl R. Gegenfurtner|arXiv (Cornell University)|Mar 12, 2019

Cell Image Analysis Techniques参考文献 31被引用 3

一句话总结

本文研究了深度神经网络中核权重相似性与性能泛化之间的悖论关系，发现高度相关的核权重在面对失真时可能表现出截然不同的性能，而无关的核权重却可能表现相似。其主要贡献在于表明，内在权重相似性并不能预测功能鲁棒性，从而挑战了迁移学习和深度神经网络可解释性中的既有假设。

ABSTRACT

Machine learning is advancing towards a data-science approach, implying a necessity to a line of investigation to divulge the knowledge learnt by deep neuronal networks. Limiting the comparison among networks merely to a predefined intelligent ability, according to ground truth, does not suffice, it should be associated with innate similarity of these artificial entities. Here, we analysed multiple instances of an identical architecture trained to classify objects in static images (CIFAR and ImageNet data sets). We evaluated the performance of the networks under various distortions and compared it to the intrinsic similarity between their constituent kernels. While we expected a close correspondence between these two measures, we observed a puzzling phenomenon. Pairs of networks whose kernels' weights are over 99.9% correlated can exhibit significantly different performances, yet other pairs with no correlation can reach quite compatible levels of performance. We show implications of this for transfer learning, and argue its importance in our general understanding of what intelligence is, whether natural or artificial.

研究动机与目标

• 调查深层神经网络中核权重的内在相似性是否与功能性能相关。
• 评估在不同训练条件下训练的相同架构网络中，对图像失真的鲁棒性与权重相似性的相关性。
• 挑战权重相似性可预测深层网络功能相似性的假设。
• 探讨对迁移学习以及对人工与生物智能理解的启示。

提出的方法

• 使用不同的随机种子和超参数在CIFAR-10和ImageNet上训练了多个ResNet50实例。
• 通过八种图像失真类型（如噪声、对比度降低）评估每个网络的性能，以衡量视觉智能水平。
• 计算所有卷积层之间核权重矩阵的皮尔逊相关系数，以量化内在相似性。
• 通过将微调后的子网络的权重直接迁移至其父网络，测试性能是否提升。
• 分析逐层权重相关性，识别微调后偏差最大的层。
• 采用基于黎曼几何的推理方法，解释低层次特征表示在各层之间的演化过程。

实验结果

研究问题

• RQ1 深层神经网络之间核权重的内在相似性在多大程度上能预测其在图像失真下的功能鲁棒性？
• RQ2 为何具有高度相关核权重的网络在相同失真集下表现出截然不同的性能？
• RQ3 即使其余权重保持不变，仅转移一小部分核权重是否能显著提升性能？
• RQ4 中间层次卷积层是否编码了多个低层次视觉特征的综合表示？
• RQ5 核权重的内在相似性如何与深层网络中的层次化特征表示相关联？

主要发现

• 核权重相关性超过99.9%的网络在图像失真下表现出显著不同的性能水平，揭示了功能行为中的强烈悖论。
• 相反，核权重几乎无关的网络对所有失真类型的性能表现高度一致，挑战了权重相似性与功能对应关系的假设。
• 仅将微调后的子网络中一个卷积层（res3c_branch2c）的权重迁移至父网络，使父网络的视觉智能得分提升了2%，从0.53提升至0.55。
• 同一层res3c_branch2c在所有子网络中均表现出一致的相关性模式，表明其编码了对比度、噪声等低层次视觉特征的复合表示。
• 即使全连接层保持不变，将子网络的所有卷积层权重迁移至父网络，其性能与子网络完全相同。
• 逐层相关性分析表明，中间层次的层（如res3c_branch2c）对失真最为敏感，提示其作为整合低层次视觉变化的枢纽角色。