[论文解读] Training Neural Networks Using Features Replay.

Zhouyuan Huo, Bin Gu+1 more|arXiv (Cornell University)|Jan 1, 2018

Machine Learning and ELM被引用 38

一句话总结

本文提出 Features Replay，一种新颖的并行目标公式化方法，通过解耦反向传播以实现深度神经网络的并行训练。通过确保收敛至临界点并减少内存使用，该方法相较于现有方法实现了更快的收敛速度、更低的内存消耗以及更优的泛化误差。

ABSTRACT

Training a neural network using backpropagation algorithm requires passing error gradients sequentially through the network. The backward locking prevents us from updating network layers in parallel and fully leveraging the computing resources. Recently, there are several works trying to decouple and parallelize the backpropagation algorithm. However, all of them suffer from severe accuracy loss or memory explosion when the neural network is deep. To address these challenging issues, we propose a novel parallel-objective formulation for the objective function of the neural network. After that, we introduce features replay algorithm and prove that it is guaranteed to converge to critical points for the non-convex problem under certain conditions. Finally, we apply our method to training deep convolutional neural networks, and the experimental results show that the proposed method achieves {faster} convergence, {lower} memory consumption, and {better} generalization error than compared methods.

研究动机与目标

• 解决反向传播中的顺序依赖性问题，以突破深度神经网络中并行化与资源高效利用的限制。
• 克服现有并行反向传播方法在训练深层网络时常见的精度严重下降与内存爆炸问题。
• 开发一种理论基础坚实的、可并行化的训练目标，确保对非凸问题收敛至临界点。
• 在保持或提升模型泛化性能的同时，减少训练过程中的内存消耗。

提出的方法

• 提出神经网络目标函数的新并行目标公式化方法，以解耦各层之间的梯度计算。
• 引入 Features Replay 算法，通过重放中间特征表示，实现网络各层的独立与并行更新。
• 在特定条件下证明了对临界点的收敛性，确保该方法在非凸优化问题中的理论可靠性。
• 利用特征重放避免存储完整反向传播过程，显著降低内存开销。
• 设计训练流程，使各层更新独立于顺序反向传播，从而实现 GPU 的高效利用。
• 通过重放特征保持梯度流动，避免了先前并行方法中常见的性能退化，从而维持模型精度。

实验结果

研究问题

• RQ1 能否通过神经网络训练的并行目标公式化方法，在非凸设置下实现收敛至临界点？
• RQ2 所提出的方法能否在不牺牲模型精度的前提下减少反向传播过程中的内存消耗？
• RQ3 Features Replay 算法是否相比标准反向传播和现有并行方法具有更快的收敛速度？
• RQ4 该方法在深度卷积神经网络上是否比基线方法具有更好的泛化能力？
• RQ5 当应用于极深网络时，该方法是否具备可扩展性与稳定性？

主要发现

• Features Replay 算法在收敛速度上优于标准反向传播和现有并行方法。
• 由于消除了对完整反向传播存储的需求，内存消耗显著降低。
• 与基线方法相比，该方法在深度卷积神经网络上表现出更优的泛化误差。
• 理论分析证实了在指定条件下收敛至临界点，验证了该方法的稳定性。
• 实验结果表明，该方法在多个深度学习基准测试中均表现出一致的性能提升，训练速度与内存效率均有显著改善。