[论文解读] On-the-fly Operation Batching in Dynamic Computation Graphs

Graham Neubig, Yoav Goldberg+1 more|arXiv (Cornell University)|May 22, 2017

Advanced Neural Network Applications参考文献 23被引用 27

一句话总结

本文提出了一种用于动态计算图的自动操作批处理算法，可在无需人工干预的情况下实现神经网络操作的高效、实时批处理。通过利用惰性求值和操作符重载，该框架在执行过程中动态地将操作分组为优化后的批处理，其吞吐量与手动优化的批处理相当——在 CPU 上最高可实现 9.2× 的加速，在 GPU 上最高可达 8.6×，适用于 TreeLSTM 和 BiLSTM 等多样化架构。

ABSTRACT

Dynamic neural network toolkits such as PyTorch, DyNet, and Chainer offer more flexibility for implementing models that cope with data of varying dimensions and structure, relative to toolkits that operate on statically declared computations (e.g., TensorFlow, CNTK, and Theano). However, existing toolkits - both static and dynamic - require that the developer organize the computations into the batches necessary for exploiting high-performance algorithms and hardware. This batching task is generally difficult, but it becomes a major hurdle as architectures become complex. In this paper, we present an algorithm, and its implementation in the DyNet toolkit, for automatically batching operations. Developers simply write minibatch computations as aggregations of single instance computations, and the batching algorithm seamlessly executes them, on the fly, using computationally efficient batched operations. On a variety of tasks, we obtain throughput similar to that obtained with manual batches, as well as comparable speedups over single-instance learning on architectures that are impractical to batch manually.

研究动机与目标

• 应对动态神经网络工具包在处理序列、树和图等复杂可变结构数据时，硬件利用率低下的日益严峻挑战。
• 减轻开发人员手动将操作组织为高效批处理的负担，尤其适用于计算图结构不规则或动态变化的模型。
• 通过自动化批处理过程，在保留动态图构建灵活性的同时，实现在 DyNet 等动态框架中的高性能推理与训练。
• 证明自动批处理可在复杂架构中实现接近手动优化批处理实现的性能，即使在手动批处理不切实际的情况下亦可实现。

提出的方法

• 通过操作符重载和惰性求值，将计算图构建与执行分离，以支持运行时对操作的分析。
• 应用轻量级、实时的批处理启发式策略（基于议程或基于深度），在前向传播过程中将操作动态分组为高效批处理。
• 利用图遍历机制识别并合并可批处理的操作，最大限度减少冗余计算和内存访问。
• 通过命令行标志（--dynet-autobatch 1）将批处理逻辑集成到 DyNet 框架中，实现透明激活，无需修改代码。
• 通过在运行时将单个操作聚合为批处理等效形式，复用现有的优化 GEMM 和张量操作。
• 在透明提升吞吐量的同时，保持与标准神经网络组件（如 BiLSTM、TreeLSTM）的兼容性。

实验结果

研究问题

• RQ1 在动态计算图中，自动操作批处理能否实现与手动优化批处理实现相当的性能？
• RQ2 自动批处理在具有不规则或可变结构计算图的模型（如 TreeLSTM 或输入长度可变的序列模型）中，能在多大程度上提升吞吐量？
• RQ3 与静态图框架（如 TensorFlow Fold）相比，所提出的自动批处理框架在吞吐量和效率方面表现如何？
• RQ4 不同的批处理启发式策略（如基于议程 vs. 基于深度）对批处理效率和加速效果有何影响？
• RQ5 自动批处理能否有效应用于手动批处理不切实际或易出错的复杂模型？

主要发现

• 所提出的自动批处理算法相比单实例训练，CPU 上最高可实现 9.2× 加速，GPU 上最高可达 8.6×，且开发人员投入极少。
• 在 Stanford Sentiment Treebank 任务中，启用自动批处理的 DyNet 在 CPU 上每秒处理 93.6 棵树，而单实例评估仅为 46.7 棵树/秒，性能提升显著。
• 在多数基准测试中，基于议程的批处理启发式策略优于基于深度的策略，表明其对复杂图结构具有更强的适应能力。
• 在所有评估任务中——包括 BiLSTM、带字符嵌入的 BiLSTM、TreeLSTM 和基于转换的依存解析——自动批处理在 CPU 上实现了 3.6× 至 9.2× 的加速，在 GPU 上实现了 2.7× 至 8.6× 的加速。
• 在 CPU 和 GPU 上，启用自动批处理的 DyNet 实现均优于 TensorFlow Fold 的参考实现，甚至在较小批大小下超越了 TF Fold 的 GPU 性能。
• 该框架的简洁性——仅依赖标准 Python 控制流和数据结构——表明无需领域特定语言或复杂抽象，即可高效实现复杂模型。