[论文解读] Supporting Video Queries on Zero-Streaming Cameras.

Mengwei Xu, Tiantu Xu+4 more|arXiv (Cornell University)|Apr 28, 2019

Image and Video Quality Assessment参考文献 47被引用 4

一句话总结

本文提出了一种零流式视频分析系统，其中低成本摄像头将视频本地存储，并仅在被查询时才与云端交互。通过使用稀疏帧知识学习和云端优化算子的动态多轮查询处理，该系统在低功耗硬件和典型无线带宽条件下实现了超过100倍的视频实时性能，相较于其他方案最高提升两个数量级。

ABSTRACT

Low-cost cameras grow rapidly, producing colossal videos that enable powerful analytics but also stress network and compute resources. An unexploited opportunity is that most of the videos remain cold without ever being queried. For resource efficiency, we advocate for these cameras to be zero-streaming: they capture videos directly to their cheap local storage and only communicate with the cloud when analytics is requested. To this end, we present a system that spans the cloud and cameras. Our key ideas are twofold. When capturing video frames, a camera learns accurate knowledge on a sparse sample of frames, rather than learning inaccurate knowledge on all frames; in executing one query, a camera processes frames in multiple passes with multiple operators trained and picked by the cloud during the query, rather than one pass processing with operator(s) decided ahead of the query. On diverse queries over 15 videos and with typical wireless network bandwidth and low-cost camera hardware, our system prototype runs at more than 100x video realtime. It outperforms competitive alternative designs by at least 4x and up to two orders of magnitude.

研究动机与目标

• 解决持续流式传输的低成本摄像头效率低下且大多未被查询的问题。
• 通过使摄像头本地存储视频并在按需时才与云端通信，降低网络和计算负载。
• 设计一种系统，可为每个查询动态选择并应用多个优化算子，提升准确性和效率。
• 在低成本硬件和受限无线带宽条件下实现高性能，使视频分析具备可扩展性和资源高效性。

提出的方法

• 摄像头从视频帧的稀疏采样中学习准确知识，而非处理所有帧，从而降低计算负载。
• 每个查询使用多轮处理，算子由云端根据特定查询选择并训练。
• 算子的选择基于查询语义和数据特征，实现自适应且高效的处理。
• 云端负责选择并部署针对每个查询需求量身定制的专用算子。
• 系统通过将视频保留在本地存储，仅在查询执行期间检索必要帧，最大限度减少数据传输。
• 分布式架构协调边缘摄像头与云端之间的交互，实现低延迟、高吞吐量的视频分析。

实验结果

研究问题

• RQ1 是否可以在仅本地存储视频并在按需通信的零流式摄像头上高效执行视频分析？
• RQ2 如何在不进行全帧处理的前提下，仅通过最小化处理量在低成本摄像头上实现准确分析？
• RQ3 在带宽和硬件受限条件下，何种查询处理策略能最大化性能和准确性？
• RQ4 在真实环境中，使用云端协调的动态多轮处理是否能优于静态单轮处理方法？

主要发现

• 该系统在低成本摄像头硬件和典型无线网络带宽条件下实现了超过100倍的视频实时性能。
• 其查询执行速度优于竞争方案至少4倍，最高达两个数量级。
• 稀疏帧知识学习使在显著降低计算成本的前提下实现准确分析成为可能。
• 通过云端协调的动态多轮查询处理，提升了效率并增强了对多样化查询的适应能力。
• 系统在最小化数据传输和本地处理负载的同时保持了高准确性。
• 该架构在多样化视频工作负载和真实网络条件下均表现出良好的可扩展性。