[论文解读] Scaling Video Analytics on Constrained Edge Nodes

Christopher Canel, Thomas Kim+6 more|arXiv (Cornell University)|May 24, 2019

Video Surveillance and Tracking Methods参考文献 26被引用 26

一句话总结

FilterForward 是一种端到云系统，通过在资源受限的边缘节点上使用轻量级、共享的深度神经网络和针对特定应用的微型分类器，将视频分析带宽减少10倍。它通过仅基于应用特定事件检测过滤相关帧，实现了对数千路摄像头视频流的高保真、实时处理，相比以往方法，吞吐量提升6.1倍，准确率提高1.3倍。

ABSTRACT

As video camera deployments continue to grow, the need to process large volumes of real-time data strains wide area network infrastructure. When per-camera bandwidth is limited, it is infeasible for applications such as traffic monitoring and pedestrian tracking to offload high-quality video streams to a datacenter. This paper presents FilterForward, a new edge-to-cloud system that enables datacenter-based applications to process content from thousands of cameras by installing lightweight edge filters that backhaul only relevant video frames. FilterForward introduces fast and expressive per-application microclassifiers that share computation to simultaneously detect dozens of events on computationally constrained edge nodes. Only matching events are transmitted to the cloud. Evaluation on two real-world camera feed datasets shows that FilterForward reduces bandwidth use by an order of magnitude while improving computational efficiency and event detection accuracy for challenging video content.

研究动机与目标

• 解决在资源受限的边缘节点上大规模实时视频分析中的带宽瓶颈问题。
• 使数据中心应用能够在网络容量有限的情况下，处理来自数千台摄像头的高质量视频。
• 设计一种系统，能够在低功耗边缘硬件上高效支持数十个并发、应用特定的事件检测过滤器。
• 相比现有边缘过滤方法，提升计算效率和检测准确率。
• 通过在多个微型分类器之间共享特征提取，实现可扩展的多租户视频分析。

提出的方法

• FilterForward 使用共享的基础深度神经网络（DNN）从每帧视频中提取通用特征，将昂贵的计算成本分摊到多个微型分类器上。
• 每个应用部署一个轻量级微型分类器（MC），对DNN激活结果执行二值分类，以检测特定事件（例如，检测到狗的存在）。
• 对帧级别的分类结果进行平滑处理，以识别事件的开始和结束时间，随后重新编码并转发至云端。
• 微型分类器可从基础DNN的不同层提取特征，从而在最小化冗余的前提下实现表达性强、应用特定的检测。
• 通过在单个边缘节点上并行运行数十个MC，系统支持多租户，充分利用共享的特征计算。
• 仅传输检测到事件的帧，显著降低带宽使用量，同时保持视频质量。

实验结果

研究问题

• RQ1 共享的特征提取管道是否能显著降低在资源受限边缘节点上运行多个视频分析过滤器的计算成本？
• RQ2 基于边缘的过滤在大规模视频部署中能在多大程度上减少带宽使用，同时不牺牲检测准确率？
• RQ3 与基于像素的分类器相比，基于共享DNN特征训练的微型分类器在准确率和效率方面表现如何？
• RQ4 在并发微型分类器数量和吞吐量方面，多租户边缘过滤系统的可扩展性上限是什么？
• RQ5 在严重带宽限制下，所提出的架构是否能在具有挑战性的实际视频内容上保持高检测准确率？

主要发现

• 在真实世界数据集上，FilterForward 相较于标准视频压缩技术，将带宽使用量降低了整整一个数量级（10倍）。
• 在50个并发微型分类器的情况下，FilterForward 的吞吐量比现有轻量级过滤方法高出6.1倍。
• FilterForward 中的微型分类器准确率最高可达基于像素的DNN过滤器的1.3倍，优于以往工作中的方法。
• 由于共享特征计算，新增每个微型分类器的边际成本相比以往系统降低了高达23倍。
• 当激活的微型分类器超过3–4个时，FilterForward 在计算效率方面优于以往的边缘过滤系统。
• 通过为相关事件保留全分辨率视频，该系统即使在严重带宽限制下，也能在具有挑战性的视频内容上保持高检测准确率。