[论文解读] REPAIR: REnormalizing Permuted Activations for Interpolation Repair

Keller Jordan, Hanie Sedghi+3 more|arXiv (Cornell University)|Nov 15, 2022

Advanced Neural Network Applications被引用 11

一句话总结

本文提出 REPAIR 方法，通过重新加权预激活值，缓解了线性插值深度神经网络中的方差坍塌问题，显著降低了 SGD 解之间的损失屏障。REPAIR 在各类架构中将插值屏障降低了 60%–100%，在 ResNet50/ImageNet 上实现 74% 的屏障降低，在 ResNet18/CIFAR-10 上实现 90% 的屏障降低，当与神经元对齐结合使用时效果更佳。

ABSTRACT

In this paper we look into the conjecture of Entezari et al. (2021) which states that if the permutation invariance of neural networks is taken into account, then there is likely no loss barrier to the linear interpolation between SGD solutions. First, we observe that neuron alignment methods alone are insufficient to establish low-barrier linear connectivity between SGD solutions due to a phenomenon we call variance collapse: interpolated deep networks suffer a collapse in the variance of their activations, causing poor performance. Next, we propose REPAIR (REnormalizing Permuted Activations for Interpolation Repair) which mitigates variance collapse by rescaling the preactivations of such interpolated networks. We explore the interaction between our method and the choice of normalization layer, network width, and depth, and demonstrate that using REPAIR on top of neuron alignment methods leads to 60%-100% relative barrier reduction across a wide variety of architecture families and tasks. In particular, we report a 74% barrier reduction for ResNet50 on ImageNet and 90% barrier reduction for ResNet18 on CIFAR10.

研究动机与目标

• 探究为何仅靠神经元对齐无法在标准深度网络中实现低屏障线性插值。
• 识别并解决插值网络中性能退化问题的根本原因，特别是激活值的方差坍塌。
• 开发一种通用的校正方法，无需修改网络架构（如引入 LayerNorm），即可恢复插值模型的性能。
• 验证 REPAIR 是否能在标准 BatchNorm 网络中实现低屏障连接，支持 Entezari 等人（2021）关于置换不变插值的猜想。
• 展示 REPAIR 在真实世界基准测试中用于模型合并、集成和微调等实际应用的优势。

提出的方法

• REPAIR 通过为每层学习一个缩放因子，对插值网络的预激活值进行重新加权，以解决方差坍塌问题。
• 该方法对插值网络中每一层的预激活输出应用类似归一化的校正，恢复激活值的方差。
• REPAIR 在对齐之后应用，即在对一个网络的隐藏单元进行重排以匹配另一个网络之后，于评估插值模型之前执行。
• 缩放因子基于插值网络中预激活值的统计特性计算，有效逆转了插值过程中观察到的方差坍塌。
• 该方法推广了在平均模型中重置 BatchNorm 统计特性的思想，将其扩展至具有重排权重的插值模型。
• REPAIR 兼容多种归一化层，包括 BatchNorm 和 LayerNorm，并适用于不同宽度和深度的网络。

实验结果

研究问题

• RQ1 为何尽管具有理论潜力，神经元对齐方法在标准深度网络中仍无法实现低屏障线性插值？
• RQ2 插值网络中性能退化背后的机制是什么？能否系统性地加以纠正？
• RQ3 对插值网络进行后处理校正是否可以无需架构修改即可恢复性能？
• RQ4 REPAIR 是否能在标准 BatchNorm 网络中实现低屏障连接，从而解决先前使用 LayerNorm 的研究之间存在的不一致？
• RQ5 REPAIR 是否能提升模型集成和在不相交数据划分上训练的模型进行构造性合并等实际应用的性能？

主要发现

• 在 ImageNet 上的 ResNet50 上，REPAIR 将插值屏障降低了 74%，准确率从低于 1% 提升至 56.5%。
• 在 CIFAR-10 上的 ResNet18 上，REPAIR 实现了 90% 的屏障降低，将损失屏障从 16% 降低至 1.5%。
• 该方法有效缓解了插值网络中的方差坍塌，使激活方差恢复至接近原始水平。
• REPAIR 实现了在标准 BatchNorm 网络中的低屏障连接，而此前实现类似效果需依赖 LayerNorm。
• 在分数据集训练中，经过 REPAIR 处理的插值结果在完整 CIFAR-100 测试集上优于两个端点，在 α=0.3 时测试损失为 1.30，优于以往工作的 1.73。
• 性能提升在不同架构中保持一致，屏障降低幅度在 60% 至 100% 之间，适用于不同网络宽度和深度。