[论文解读] Tilting the playing field: Dynamical loss functions for machine learning

Miguel Ruíz-García, Ge Zhang+2 more|arXiv (Cornell University)|Feb 7, 2021

Neural Networks and Applications参考文献 1被引用 6

一句话总结

本文提出了一种动态损失函数，通过在训练过程中循环强调不同类别，以改善参数量不足和参数量过多的神经网络的学习效果。通过演化损失景观，该方法诱导出分岔级联以及山谷的拓宽与变窄，使网络能够逃离不良极小值，并收敛到更平坦、更具泛化能力的解，即使在标准交叉熵损失失效时也能实现。

ABSTRACT

We show that learning can be improved by using loss functions that evolve cyclically during training to emphasize one class at a time. In underparameterized networks, such dynamical loss functions can lead to successful training for networks that fail to find a deep minima of the standard cross-entropy loss. In overparameterized networks, dynamical loss functions can lead to better generalization. Improvement arises from the interplay of the changing loss landscape with the dynamics of the system as it evolves to minimize the loss. In particular, as the loss function oscillates, instabilities develop in the form of bifurcation cascades, which we study using the Hessian and Neural Tangent Kernel. Valleys in the landscape widen and deepen, and then narrow and rise as the loss landscape changes during a cycle. As the landscape narrows, the learning rate becomes too large and the network becomes unstable and bounces around the valley. This process ultimately pushes the system into deeper and wider regions of the loss landscape and is characterized by decreasing eigenvalues of the Hessian. This results in better regularized models with improved generalization performance.

研究动机与目标

• 探究在训练过程中动态演化损失函数是否能够超越静态损失函数，提升学习效果。
• 理解循环损失函数如何在参数量不足和参数量过多的网络中增强泛化能力。
• 探讨损失景观曲率、Hessian特征值以及神经正切核在促进改进训练动力学中的作用。
• 确定通过类别权重循环实现的任务切换是否能在提升性能的同时避免灾难性遗忘。
• 分析损失景观演化与优化动力学之间的相互作用，特别是在山谷变窄和振荡行为期间。

提出的方法

• 在损失函数中引入随时间变化的循环类别加权方案，使不同类别在训练周期内依次获得不同强调。
• 使用正弦调制来随时间改变类别权重，从而创建周期性变化的损失景观。
• 利用Hessian矩阵和神经正切核分析损失景观，研究训练过程中曲率变化与分岔级联现象。
• 追踪最大Hessian特征值的演化，以识别训练周期中不稳定性及山谷转换。
• 在合成数据（螺旋数据集）和真实世界基准（使用Myrtle网络的CIFAR-10）上训练模型，以验证性能提升。
• 在不同网络参数化程度下，对比静态交叉熵损失与动态损失函数的训练和测试准确率。

实验结果

研究问题

• RQ1 在标准交叉熵损失无法收敛的参数量不足网络中，动态演化损失函数是否能提升训练准确率？
• RQ2 类别权重的循环变化如何影响损失景观的几何结构与优化动力学？
• RQ3 分岔级联与Hessian特征值演化在使网络进入更宽、更平坦的极小值中起到何种作用？
• RQ4 在参数量过多的网络中，尽管静态损失下训练准确率为完美，循环类别强调是否仍能带来更好的泛化？
• RQ5 动态损失函数在提升性能的同时，能在多大程度上避免灾难性遗忘？

主要发现

• 在参数量不足的网络中，动态损失函数在保持相同超参数的前提下，使原本在标准交叉熵损失下失败的训练成功完成。
• 在参数量过多的网络中，该方法在静态损失下已实现完美训练准确率的前提下，仍能提升测试准确率，表明泛化能力更强。
• 最大Hessian特征值随训练时间减小，表明网络正向更平坦、更正则化的极小值过渡。
• 在早期周期中，损失景观的山谷逐渐变宽变深，随后变窄变高，导致网络发生振荡并逃离浅层极小值。
• 类别加权的最优振幅为 A ≈ 30，此时性能最佳；振幅过大则因灾难性遗忘导致性能下降。
• 该方法通过利用快速损失景观变化带来的不稳定性而非规避不稳定性，实现了更好的泛化，这与传统关于训练稳定性的直觉相悖。