[论文解读] Understanding plasticity in neural networks

Clare Lyle, Zeyu Zheng+4 more|arXiv (Cornell University)|Mar 2, 2023

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文研究了深度强化学习中的可塑性损失，指出损失曲面的曲率是其主要驱动因素，而非饱和单元。研究证明，诸如层归一化等网络结构选择能够稳定优化过程并保持可塑性，显著提升在Arcade Learning Environment上的性能，且无需超参数调优。

ABSTRACT

Plasticity, the ability of a neural network to quickly change its predictions in response to new information, is essential for the adaptability and robustness of deep reinforcement learning systems. Deep neural networks are known to lose plasticity over the course of training even in relatively simple learning problems, but the mechanisms driving this phenomenon are still poorly understood. This paper conducts a systematic empirical analysis into plasticity loss, with the goal of understanding the phenomenon mechanistically in order to guide the future development of targeted solutions. We find that loss of plasticity is deeply connected to changes in the curvature of the loss landscape, but that it often occurs in the absence of saturated units. Based on this insight, we identify a number of parameterization and optimization design choices which enable networks to better preserve plasticity over the course of training. We validate the utility of these findings on larger-scale RL benchmarks in the Arcade Learning Environment.

研究动机与目标

• 理解在非平稳训练过程中，深度神经网络中可塑性损失的机制成因。
• 识别在训练过程中能够保持可塑性的网络结构与优化设计选择。
• 在大型强化学习基准（如Arcade Learning Environment）上验证上述发现。
• 将损失曲面平滑性的作用与其他正则化和参数重初始化技术的作用区分开来。

提出的方法

• 采用时序差分学习方法，对基于值函数的强化学习中的可塑性损失进行系统的实证分析。
• 利用 falsification 框架排除关于可塑性损失的常见假设，如激活饱和或梯度消失。
• 通过 Hessian 矩阵和梯度协方差结构分析损失曲面的曲率，将其与可塑性退化关联起来。
• 评估网络组件（如层归一化、批归一化及分类输出）对可塑性的影响。
• 将表现最佳的方法（层归一化）应用于标准 DQN 智体，在 57 个 Atar i 游戏上测试泛化能力。
• 测量在梯度协方差退化或 Hessian 矩阵病态的环境中性能的提升程度。

实验结果

研究问题

• RQ1 在强化学习的非平稳训练过程中，深度神经网络中可塑性损失的驱动机制是什么？
• RQ2 可塑性损失是否可归因于饱和单元或梯度病理现象，还是主要由损失曲面曲率决定？
• RQ3 如归一化层和输出表示等网络结构选择如何影响可塑性的保持？
• RQ4 与损失曲面平滑化相比，参数正则化或重初始化方法在提升可塑性方面有多大优势？
• RQ5 稳定优化曲面是否能在多样化的强化学习环境中带来一致的性能提升？

主要发现

• 即使在无饱和单元的情况下，可塑性损失也与损失曲面曲率的增加强烈相关。
• 能够平滑损失曲面的网络结构组件——尤其是层归一化——在提升可塑性方面带来了最显著的改进。
• 层归一化在 Arcade Learning Environment 的 57 个 Atar i 游戏中显著提升了性能，且无需额外超参数调优。
• 在梯度协方差退化或 Hessian 矩阵病态的环境中，层归一化的性能增益最为显著。
• 与参数扰动或正则化方法相比，通过网络结构设计稳定优化曲面的方法带来的收益更优。
• 研究结果表明，控制损失曲面的尖锐度和优化器稳定性，比标准的重初始化或蒸馏技术更能有效提升强化学习的鲁棒性。