[论文解读] Parallelizing Over Artificial Neural Network Training Runs with Multigrid

Jacob B. Schroder|arXiv (Cornell University)|Aug 7, 2017

Neural Networks and Applications参考文献 3被引用 7

一句话总结

本文提出将多网格时间降阶（MGRIT）算法创新性地应用于人工神经网络训练的串行运行过程，将每个训练步骤视为类似时间演化的步骤。通过将网络权重更新重新表述为演化方程，MGRIT 实现了对数千个训练步骤的并行处理，同时收敛至与传统串行训练相同的解，展示了在模型问题上显著的加速潜力。

ABSTRACT

Artificial neural networks are a popular and effective machine learning technique. Great progress has been made parallelizing the expensive training phase of an individual network, leading to highly specialized pieces of hardware, many based on GPU-type architectures, and more concurrent algorithms such as synthetic gradients. However, the training phase continues to be a bottleneck, where the training data must be processed serially over thousands of individual training runs. This work considers a multigrid reduction in time (MGRIT) algorithm that is able to parallelize over the thousands of training runs and converge to the exact same solution as traditional training would provide. MGRIT was originally developed to provide parallelism for time evolution problems that serially step through a finite number of time-steps. This work recasts the training of a neural network similarly, treating neural network training as an evolution equation that evolves the network weights from one step to the next. Thus, this work concerns distributed computing approaches for neural networks, but is distinct from other approaches which seek to parallelize only over individual training runs. The work concludes with supporting numerical results for two model problems.

研究动机与目标

• 为解决深度神经网络中串行训练的持续瓶颈问题，即必须顺序处理数千个训练运行。
• 探索是否可通过将训练步骤重新表述为类似时间的演化步骤，将类似 MGRIT 的时间并行方法应用于神经网络训练。
• 开发一种非侵入式、可扩展的方法，在保持解精度的同时实现在训练运行之间的并行性。
• 通过具有不同架构和求解器配置的模型问题，研究 MGRIT 在神经网络训练中的可行性与性能。

提出的方法

• 将神经网络训练重新表述为演化方程：w_{i+1} = Φ(w_i)，将每个训练步骤 i 视为类似时间的增量。
• 应用 MGRIT 算法，该算法使用多级网格层次结构，通过粗化训练步骤集合来加速收敛。
• 通过调整学习率或对 Φ 进行双重应用，定义粗网格层的传播算子 Φ^(ℓ)，以保持精度和稳定性。
• 在多网格求解器中使用 F-循环和 V-循环，其中松弛参数 α^(ℓ) 在更粗的层级上逐渐增大，以改善收敛性。
• 实现一种非侵入式框架，将现有的串行训练代码 Φ 原封不动地封装在 MGRIT 求解器中。
• 探索在更粗层级上增加 α^(ℓ) 以及对所有训练样本进行串行化等策略，以增强并行性和可扩展性。

实验结果

研究问题

• RQ1 MGRIT 是否可成功应用于并行处理人工神经网络训练中的训练运行序列？
• RQ2 尽管并行处理了训练步骤，基于 MGRIT 的方法是否仍能收敛至与传统串行训练相同的解？
• RQ3 不同的松弛策略和粗网格层传播算子构建方式如何影响收敛性和可扩展性？
• RQ4 在模型问题上，使用 MGRIT 进行神经网络训练可实现多大的潜在加速？
• RQ5 不同的网络架构和求解器配置如何影响 MGRIT 方法的性能和鲁棒性？

主要发现

• MGRIT 有效实现了对训练步骤的并行处理，并收敛至与传统串行训练相同的解，验证了该方法的核心假设。
• 对于具有四层结构的模型问题，使用 Solver 2 时，MGRIT 在 12,800 个训练步骤上实现了最高约 13 倍的潜在加速，且迭代次数增长缓慢。
• F-循环结果表明，当在更粗层级上逐步增大 α^(ℓ)（即 1.25^ℓ）时，可扩展性得到改善，消除了固定 α^(ℓ) 时出现的性能下降。
• V-循环收敛在最大问题规模（12,800 步）时出现轻微且未解释的恶化，但迭代次数仍处于可控范围。
• Solver 3 在所有问题规模下均表现出最强的鲁棒性，表明其具有更广泛的应用潜力。
• 该方法是非侵入式的，可对现有串行训练代码进行最小修改后应用，实现与当前工作流的立即集成。