[论文解读] The Loss Surface of Residual Networks: Ensembles and the Role of Batch Normalization

Etai Littwin, Lior Wolf|arXiv (Cornell University)|Nov 8, 2016

Adversarial Robustness in Machine Learning参考文献 4被引用 7

一句话总结

该论文揭示了残差网络（ResNets）作为动态集成模型运行，其有效深度在训练过程中逐渐增加，主要由批量归一化（Batch Normalization）的缩放行为驱动。通过广义自旋玻璃模型，作者表明这种动态集成行为可减少优化过程中的临界点，从而解释为何即使在极高深度下，深度ResNets仍能有效训练。

ABSTRACT

Deep Residual Networks present a premium in performance in comparison to conventional networks of the same depth and are trainable at extreme depths. It has recently been shown that Residual Networks behave like ensembles of relatively shallow networks. We show that these ensembles are dynamic: while initially the virtual ensemble is mostly at depths lower than half the network's depth, as training progresses, it becomes deeper and deeper. The main mechanism that controls the dynamic ensemble behavior is the scaling introduced, e.g., by the Batch Normalization technique. We explain this behavior and demonstrate the driving force behind it. As a main tool in our analysis, we employ generalized spin glass models, which we also use in order to study the number of critical points in the optimization of Residual Networks.

研究动机与目标

• 理解为何深度残差网络尽管深度极高仍能有效训练。
• 研究批量归一化在塑造ResNets优化景观中的作用。
• 利用广义自旋玻璃模型分析ResNets的损失曲面。
• 解释ResNets中跳跃连接形成的虚拟集成的动态行为。

提出的方法

• 作者将自旋玻璃模型推广以表示ResNets的损失曲面，将其与多球面自旋玻璃模型的哈密顿量联系起来。
• 他们将ResNets建模为浅层网络的集合，其深度分布由系数 $\epsilon_r$ 参数化，这些系数在训练过程中动态演化。
• 通过 Auffinger & Arous (2013) 推导出的 $\theta_k(u, \bm{\epsilon})$，分析渐近期望临界点数量，以研究优化复杂度。
• 应用约束优化框架，表明异质交互混合产生的临界点数量少于同质混合。
• 通过将批量归一化的缩放效应建模为 $\epsilon_r$ 系数的动态变化，分析批量归一化的作用，该变化改变了集成深度的分布。
• 理论结果通过实证洞察得到支持：随着训练进行，集成的有效深度逐渐增加。

实验结果

研究问题

• RQ1 ResNet中虚拟集成的有效深度在训练过程中如何变化？
• RQ2 是什么机制驱动了ResNets中集成深度的动态行为？
• RQ3 批量归一化如何影响虚拟集成中有效深度的分布？
• RQ4 ResNets的损失曲面与自旋玻璃模型之间存在何种关系？
• RQ5 为何ResNets在极端深度下仍能良好泛化并有效训练？

主要发现

• ResNet中的虚拟集成最初主要由浅层网络（深度小于网络总深度的一半）主导，随着训练进行，其有效深度动态增加。
• 这种动态行为的主要驱动力是批量归一化引入的缩放，该缩放随时间增强，使集成分布向更深路径移动。
• 由于广义自旋玻璃模型中存在异质交互混合，ResNets的优化景观中临界点数量少于同深度的传统网络。
• 理论分析表明，任何异质自旋玻璃交互混合的有限指标临界点数量均少于仅具有一种交互强度的同质混合。
• 由于损失函数在早期即达到低能量状态（此时浅层集成占主导），优化过程更不易陷入高指标临界点。
• 当仅最深的交互（$r=p$）激活时，临界点数量最小，表明更深的集成对优化更有利。