[论文解读] Stabilizing Elastic Weight Consolidation method in practical ML tasks and using weight importances for neural network pruning

Alexey Kutalev, Alisa Lapina|arXiv (Cornell University)|Sep 21, 2021

Neural Networks and Applications被引用 6

一句话总结

本文针对卷积神经网络和自注意力网络中的梯度爆炸与梯度裁剪问题，稳定了弹性权重固化（EWC）方法在深度神经网络持续学习中的应用。提出了一种改进的EWC变体，在训练稳定性方面优于原始方法，同时保持了相近的持续学习性能；并发现权重大小或总绝对信号优于基于EWC的重要性度量，适用于神经网络结构化剪枝。

ABSTRACT

This paper is devoted to the features of the practical application of the Elastic Weight Consolidation (EWC) method for continual learning of neural networks on several training sets. We will more rigorously compare the well-known methodologies for calculating the importance of weights used in the EWC method. These are the Memory Aware Synapses (MAS), Synaptic Intelligence (SI) methodologies and the calculation of the importance of weights based on the Fisher information matrix from the original paper on EWC. We will consider these methodologies as applied to deep neural networks with fully connected and convolutional layers, find the optimal hyperparameters for each of the methodologies, and compare the results of continual neural network learning using these hyperparameters. Next, we will point out the problems that arise when applying the EWC method to deep neural networks with convolutional layers and self-attention layers, such as the "gradient explosion" and the loss of meaningful information in the gradient when using the constraint of its norm (gradient clipping). Then, we will propose a stabilization approach for the EWC method that helps to solve these problems, evaluate it in comparison with the original methodology and show that the proposed stabilization approach performs on the task of maintaining skills during continual learning no worse than the original EWC, but does not have its disadvantages. In conclusion, we present an interesting fact about the use of various types of weight importance in the problem of neural network pruning.

研究动机与目标

• 为具有卷积层和自注意力层的深度网络中的实际持续学习，稳定弹性权重固化（EWC）方法。
• 通过MAS、SI和基于Fisher信息的权重重要性方法，严格比较并选择EWC的最佳超参数。
• 识别并解决EWC在范数约束下出现的训练不稳定性问题，如梯度爆炸和梯度信号丢失。
• 评估基于EWC的权重重要性在神经网络非结构化剪枝中的实用性。
• 确定在全连接网络和卷积网络中，哪种权重重要性度量在剪枝中最为有效。

提出的方法

• 提出一种稳定化的EWC方法，可缓解卷积网络和自注意力网络在反向传播过程中的梯度爆炸问题，并改善梯度信号的保留。
• 在EWC超参数λ上进行网格搜索，以针对特定架构和数据集，为每种权重重要性方法（MAS、SI、Fisher）找到最优值。
• 采用三种方法计算权重重要性：记忆感知突触（MAS）、突触智能（SI），以及原始EWC论文中提出的Fisher信息矩阵。
• 在MNIST排列和MNIST/Fashion-MNIST 90度旋转任务上，使用固定超参数的Adam优化器，进行顺序训练时应用稳定化的EWC方法。
• 通过基于大小和EWC衍生重要性评分的权重置零，执行非结构化剪枝，并评估不同剪枝比例下的准确率下降情况。
• 每项实验运行20次，以计算平均准确率和95%置信区间，确保评估的稳健性。

实验结果

研究问题

• RQ1 在全连接网络和卷积网络的持续学习中，不同权重重要性方法（MAS、SI、Fisher）对应的EWC超参数λ的最优值是什么？
• RQ2 梯度爆炸和梯度裁剪如何影响EWC在卷积网络和自注意力网络中的训练稳定性？
• RQ3 所提出的稳定化方法是否在提升训练稳定性的同时，仍能保持EWC缓解灾难性遗忘的能力？
• RQ4 在非结构化神经网络剪枝中，哪种权重重要性度量表现最佳：大小、MAS、SI还是Fisher信息？
• RQ5 在增加稀疏度的情况下，基于EWC的剪枝与基于大小的剪枝在准确率下降方面表现如何？

主要发现

• 在持续学习中，记忆感知突触（MAS）方法在权重重要性度量方面始终优于SI和基于Fisher信息的重要性度量，且在所有测试架构中均实现了最高的平均准确率。
• 通过网格搜索，经验性地确定了每种重要性方法的最优λ值，MAS在不同网络类型中表现出最强的鲁棒性。
• 所提出的EWC稳定化方法在持续学习中保持或超过了原始EWC的性能，同时解决了梯度爆炸和梯度信号衰减问题。
• 在非结构化剪枝中，基于权重大小和总绝对信号的剪枝方法显著优于基于MAS、SI或Fisher信息重要性的剪枝方法，且准确率下降最小。
• 基于MAS、SI或Fisher信息重要性的剪枝表现较差，可能是因为这些度量反映的是当前权重值附近的局部重要性，当权重被置零后该重要性即失效。
• 该稳定化EWC方法在微调具有自注意力机制的大规模语言模型（如Transformer）方面尤其具有前景，因其显著提升了训练稳定性。