[论文解读] Split Computing for Complex Object Detectors: Challenges and Preliminary Results

Yoshitomo Matsubara, Marco Levorato|arXiv (Cornell University)|Jul 27, 2020

Advanced Neural Network Applications参考文献 27被引用 5

一句话总结

本文提出了一种新颖的分割计算方法，针对复杂的两阶段R-CNN目标检测器，通过在Faster R-CNN和Mask R-CNN的首层引入早期瓶颈，以减少需卸载的张量大小。通过使用头部网络蒸馏技术来保持检测精度，该方法相比边缘计算可实现高达93.4%的张量大小缩减，同时揭示了在目标检测的分割推理中关键的性能瓶颈，表现为可测量的mAP权衡。

ABSTRACT

Following the trends of mobile and edge computing for DNN models, an intermediate option, split computing, has been attracting attentions from the research community. Previous studies empirically showed that while mobile and edge computing often would be the best options in terms of total inference time, there are some scenarios where split computing methods can achieve shorter inference time. All the proposed split computing approaches, however, focus on image classification tasks, and most are assessed with small datasets that are far from the practical scenarios. In this paper, we discuss the challenges in developing split computing methods for powerful R-CNN object detectors trained on a large dataset, COCO 2017. We extensively analyze the object detectors in terms of layer-wise tensor size and model size, and show that naive split computing methods would not reduce inference time. To the best of our knowledge, this is the first study to inject small bottlenecks to such object detectors and unveil the potential of a split computing approach. The source code and trained models' weights used in this study are available at https://github.com/yoshitomo-matsubara/hnd-ghnd-object-detectors .

研究动机与目标

• 为解决复杂两阶段目标检测器（如Faster R-CNN和Mask R-CNN）缺乏有效分割计算策略的问题。
• 分析在大型数据集（如COCO 2017）上训练的强大检测器在分割时面临的挑战。
• 评估在分割计算场景下，卸载张量大小与检测性能（mAP）之间的权衡。
• 提出并验证一种方法：在模型早期引入小型瓶颈，以减少通信开销，同时不改变尾部模型。
• 通过提供训练好的模型和代码，为未来在目标检测的分割DNN研究中提供可复现的基准。

提出的方法

• 作者通过剪枝和重新配置基于ResNet-50的Faster R-CNN和Mask R-CNN的首层（第1层）卷积层，创建一个输出通道数为C的瓶颈结构。
• 应用头部网络蒸馏技术，其中原始检测器作为教师模型，修改后的检测器作为学生模型，以保留头部部分的特征表示。
• 瓶颈被放置在模型首次分叉点之前，以最小化传输到边缘设备的张量数量，避免多张量传输的开销。
• 系统性地改变瓶颈通道数（C = 3, 6, 9, 12, 15），以研究张量大小与检测性能之间的权衡。
• 使用COCO 2017验证集对模型进行微调，并测量边界框和掩码的mAP。
• 发布源代码和训练权重，以确保可复现性并支持进一步研究。

实验结果

研究问题

• RQ1 分割计算能否有效应用于缺乏自然分割点的复杂两阶段目标检测器（如Faster R-CNN和Mask R-CNN）？
• RQ2 通过早期瓶颈减小卸载张量大小后，对COCO 2017数据集上的检测性能（mAP）有何影响？
• RQ3 在目标检测器的分割推理中，通信成本（张量大小）与检测精度之间的最优权衡是什么？
• RQ4 为何简单的分割策略在强大目标检测器中无法降低推理时间，而相比之下在移动端或边缘设备上却能？
• RQ5 在目标检测器的首层引入激进瓶颈时，知识蒸馏在多大程度上能保持性能？

主要发现

• 所提出的基于瓶颈的分割计算方法，相比在边缘计算中传输原始输入张量，可将卸载张量大小减少80.3%至93.4%。
• 该方法实现了可测量的性能权衡：随着瓶颈大小减小（C = 3至15），边界框和掩码的mAP下降，且在通道数最少时下降最为显著。
• 原始模型的mAP作为性能上限，当C=15时，修改后模型达到原始mAP的约90%，表明在压缩后仍保持了较强的性能保留能力。
• 研究发现，由于后期层中存在复杂的分支结构和高体积张量，简单的分割策略无法提升推理时间，因此早期瓶颈至关重要。
• 结果表明，有效的目标检测器分割计算需要架构重设计和高级训练技术（如蒸馏），而不仅仅是逐层划分。
• 作者确认，通过进一步采用量化等压缩技术，性能还可进一步提升，如后续工作所讨论。