[论文解读] Restructuring, Pruning, and Adjustment of Deep Models for Parallel Distributed Inference

Afshin Abdi, Saeed Rashidi+2 more|arXiv (Cornell University)|Aug 19, 2020

Advanced Neural Network Applications参考文献 28被引用 6

一句话总结

该论文提出 RePurpose，一种重构并剪枝预训练深度神经网络的框架，以最小化并行分布式推理中的跨工作节点依赖。通过使用 ℓ₀ 优化和 Munkres 分配算法重新排序神经元，RePurpose 降低了通信和计算开销，在边缘系统上实现高达 11.01× 的计算加速和 3.04× 的通信加速，同时在 99% 稀疏度下保持模型精度。

ABSTRACT

Using multiple nodes and parallel computing algorithms has become a principal tool to improve training and execution times of deep neural networks as well as effective collective intelligence in sensor networks. In this paper, we consider the parallel implementation of an already-trained deep model on multiple processing nodes (a.k.a. workers) where the deep model is divided into several parallel sub-models, each of which is executed by a worker. Since latency due to synchronization and data transfer among workers negatively impacts the performance of the parallel implementation, it is desirable to have minimum interdependency among parallel sub-models. To achieve this goal, we propose to rearrange the neurons in the neural network and partition them (without changing the general topology of the neural network), such that the interdependency among sub-models is minimized under the computations and communications constraints of the workers. We propose RePurpose, a layer-wise model restructuring and pruning technique that guarantees the performance of the overall parallelized model. To efficiently apply RePurpose, we propose an approach based on $\ell_0$ optimization and the Munkres assignment algorithm. We show that, compared to the existing methods, RePurpose significantly improves the efficiency of the distributed inference via parallel implementation, both in terms of communication and computational complexity.

研究动机与目标

• 解决分布式深度学习中因跨工作节点同步和数据传输延迟导致的性能下降问题。
• 在不改变原始网络拓扑结构的前提下，最小化分布式推理设置中并行子模型之间的相互依赖。
• 实现在数据中心和资源受限的传感器网络等异构平台上的预训练模型高效部署。
• 通过结构化神经元重组与剪枝，在保持模型精度的同时，降低分布式推理中的通信和计算开销。

提出的方法

• RePurpose 通过层内重构，利用 ℓ₀ 优化识别并移除冗余连接，重新排序神经元以最小化跨工作节点依赖。
• 采用 Munkres 分配算法最优地将神经元分配给工作节点，降低跨工作节点通信量。
• 基于神经元重要性实施结构化剪枝，在减少参数量的同时保持模型性能。
• 保持原始网络拓扑和整体架构不变，确保对预训练模型无架构修改。
• 支持多种稀疏度水平（50%、75%、90%、99%），以在不同硬件约束下平衡精度与效率。
• 专为训练后优化设计，可在无需微调的情况下部署于多样化平台。

实验结果

研究问题

• RQ1 如何在不改变原始模型拓扑结构的前提下，最小化分布式深度神经网络推理中的跨工作节点依赖？
• RQ2 哪些优化技术能有效重构并剪枝预训练模型，以降低分布式系统中的通信和计算开销？
• RQ3 神经元重排与剪枝在数据中心和边缘环境中能将推理速度提升多少？
• RQ4 RePurpose 如何在显著降低通信和计算成本的同时保持模型精度？

主要发现

• 在数据中心平台，RePurpose 在 99% 稀疏度（RP-99）下实现高达 10.47× 的计算加速和 1.75× 的通信加速。
• 在边缘系统上，RePurpose 在 RP-99 下实现高达 11.01× 的计算加速和 3.04× 的通信加速，原因在于更低的网络带宽和更高的通信敏感度。
• 随着模型规模从 1K 增至 32K 个神经元，边缘系统的总推理时间提升达 3.8×，且通信仍是主导因素。
• 通信开销随工作节点数量增加而上升，但增长速率逐渐减缓，32 个工作节点时收敛至基线的 2 倍。
• 对于更大模型（N=1M），数据中心总时间增加 2.06×，原因在于计算量按 O(N²) 增长，而通信量按 O(N) 增长。
• 该框架保持可忽略的性能损失，确保在结构重排与剪枝后模型精度保持稳定。