[论文解读] The streaming rollout of deep networks - towards fully model-parallel execution

Volker Fischer, Jan M. Köhler+1 more|arXiv (Cornell University)|Jun 13, 2018

Adversarial Robustness in Machine Learning参考文献 37被引用 8

一句话总结

本文提出了一种深度神经网络推理展开的理论框架，引入了‘流式展开’（streaming rollouts）机制，通过在时间步之间最大化计算解耦，实现完全的模型并行推理。理论证明流式展开可实现最短响应时间与最高输入采样频率；实验结果表明，其在早期与后期性能上均优于传统顺序展开机制，并提供了开源工具箱以支持实现。

ABSTRACT

Deep neural networks, and in particular recurrent networks, are promising candidates to control autonomous agents that interact in real-time with the physical world. However, this requires a seamless integration of temporal features into the network's architecture. For the training of and inference with recurrent neural networks, they are usually rolled out over time, and different rollouts exist. Conventionally during inference, the layers of a network are computed in a sequential manner resulting in sparse temporal integration of information and long response times. In this study, we present a theoretical framework to describe rollouts, the level of model-parallelization they induce, and demonstrate differences in solving specific tasks. We prove that certain rollouts, also for networks with only skip and no recurrent connections, enable earlier and more frequent responses, and show empirically that these early responses have better performance. The streaming rollout maximizes these properties and enables a fully parallel execution of the network reducing runtime on massively parallel devices. Finally, we provide an open-source toolbox to design, train, evaluate, and interact with streaming rollouts.

研究动机与目标

• 解决循环网络与前馈网络在实时推理中的延迟与低频响应问题。
• 形式化深度网络中展开（rollout）的概念，并分析其对模型并行性与时间行为的影响。
• 证明流式展开可实现完全并行执行并最小化响应时间。
• 提供一个可推广的理论与实践框架，用于设计与评估流式展开机制。
• 发布一个开源工具箱，用于构建、训练并交互式操作流式展开网络。

提出的方法

• 提出一种图论框架，用于建模与分类不同类型的网络展开机制，区分帧内连接与帧间（桥接）连接。
• 将‘流式展开’定义为一种特定展开类型，其中某一时间步的所有节点在计算上完全独立，从而实现完全的模型并行性。
• 通过数学证明表明，流式展开可最小化响应时间并最大化输入采样频率。
• 在开源工具箱中采用模块化、基于进程的执行引擎，将网络操作分布到CPU与GPU上。
• 通过核心进程同步交替的读写阶段，实现在线交互与实时推理。
• 利用深度学习后端（Theano 与 TensorFlow）支持流式展开架构的训练与推理。

实验结果

研究问题

• RQ1 不同展开策略如何影响深度神经网络中的模型并行程度与时间行为？
• RQ2 与传统顺序展开相比，流式展开能否实现完全并行执行并降低推理延迟？
• RQ3 在循环网络与跳跃连接网络中，展开结构与响应时间或采样频率之间存在何种理论关系？
• RQ4 在性能方面，不同展开类型在早期与后期网络响应上存在哪些差异？
• RQ5 在实时、高频决策任务中，流式展开机制相较于标准展开机制能实现多大程度的性能提升？

主要发现

• 由于实现了完全的模型并行性，流式展开在数学上被证明可实现最短响应时间与最高输入采样频率。
• 实验结果表明，流式展开不仅在早期推理阶段表现更优，其最终预测性能也优于顺序展开机制。
• 随着网络复杂度的增加，可能的展开方式数量呈指数级增长，尤其在具有循环或循环连接的网络中更为显著。
• 开源工具箱可高效支持在多GPU系统上设计、训练与实时交互流式展开网络。
• 仅含跳跃连接的网络亦能从流式展开中获益，表明循环结构并非提升时间响应能力的必要条件。
• 在CIFAR-10、MNIST与GTSRB数据集上的实验结果表明，流式展开在早期与后期性能指标上均持续优于顺序展开机制。