[论文解读] Musical Chair: Efficient Real-Time Recognition Using Collaborative IoT Devices

Ramyad Hadidi, Jiashen Cao+3 more|arXiv (Cornell University)|Feb 5, 2018

Human Pose and Action Recognition参考文献 31被引用 29

一句话总结

Musical Chair 提出了一种协作式、隐私保护的、实时的深度神经网络（DNN）推理系统，利用资源受限的物联网（IoT）设备（如树莓派）实现。通过在设备间动态结合数据并行与模型并行，其性能可与 Tegra TX2 相当，但能耗减半，实现了无需依赖云服务的高效本地识别。

ABSTRACT

The prevalence of Internet of things (IoT) devices and abundance of sensor data has created an increase in real-time data processing such as recognition of speech, image, and video. While currently such processes are offloaded to the computationally powerful cloud system, a localized and distributed approach is desirable because (i) it preserves the privacy of users and (ii) it omits the dependency on cloud services. However, IoT networks are usually composed of resource-constrained devices, and a single device is not powerful enough to process real-time data. To overcome this challenge, we examine data and model parallelism for such devices in the context of deep neural networks. We propose Musical Chair to enable efficient, localized, and dynamic real-time recognition by harvesting the aggregated computational power from the resource-constrained devices in the same IoT network as input sensors. Musical chair adapts to the availability of computing devices at runtime and adjusts to the inherit dynamics of IoT networks. To demonstrate Musical Chair, on a network of Raspberry PIs (up to 12) each connected to a camera, we implement a state-of-the-art action recognition model for videos and two recognition models for images. Compared to the Tegra TX2, an embedded low-power platform with a six-core CPU and a GPU, our distributed action recognition system achieves not only similar energy consumption but also twice the performance of the TX2. Furthermore, in image recognition, Musical Chair achieves similar performance and saves dynamic energy.

研究动机与目标

• 解决资源受限的物联网设备因单个设备计算能力不足而难以实现实时 DNN 推理的挑战。
• 消除对云服务进行 DNN 处理的依赖，从而提升用户隐私并减轻网络负载。
• 设计一种动态自适应系统，实时利用多个低功耗物联网设备的聚合计算能力。
• 评估在异构物联网设备间使用数据并行与模型并行进行协作式 DNN 推理的可行性与效率。
• 证明由低成本物联网设备组成的分布式系统可达到甚至超越高端嵌入式平台（如 Tegra TX2）的性能。

提出的方法

• Musical Chair 使用动态负载均衡，根据设备的实时可用性和计算能力，将 DNN 推理任务分发到多个物联网设备上。
• 在卷积层中采用数据并行，将独立的输入批次并行分布在多个设备上处理。
• 在全连接层中应用模型并行，将单层计算拆分到多个设备上，以应对内存限制。
• 系统根据设备的内存和计算能力限制，自动在数据并行与模型并行之间选择，以优化延迟和能效。
• 集成优化的推理库（如 TensorFlow Lite），以降低每个设备的计算和内存开销。
• 该框架支持运行时自适应，以应对设备动态变化和网络波动，确保在真实物联网环境中的鲁棒性。

实验结果

研究问题

• RQ1 一个由低成本、资源受限的物联网设备组成的网络，能否在不依赖云服务的情况下协作完成实时 DNN 推理？
• RQ2 如何动态结合数据并行与模型并行，以在异构物联网设备中优化性能与能效？
• RQ3 与高端嵌入式平台（如 Tegra TX2）相比，分布式 DNN 系统的性能与能效如何？
• RQ4 该系统在实时推理过程中，如何适应设备可用性和网络条件的动态变化？
• RQ5 此类系统能否在最小化单个设备计算负载的同时，实现高精度识别（如动作识别与图像识别）？

主要发现

• 在分布式动作识别任务中，Musical Chair 的性能达到 Tegra TX2 的两倍，同时能耗相近。
• 在图像识别任务中，Musical Chair 的性能与 Tegra TX2 相当，但动态能耗更低，展现出优异的能效表现。
• 该系统成功扩展至最多 12 个树莓派设备，展示了在实时推理中强大的横向可扩展性。
• 通过结合数据并行与模型并行，Musical Chair 有效缓解了资源受限设备中的内存与计算瓶颈。
• 该框架能够动态适应设备可用性与网络条件的变化，在运行时变更下仍保持稳定性能。
• 该解决方案通过消除向外部服务器传输数据，保护了用户隐私，实现了完全本地化的 DNN 推理。