[论文解读] Towards Performance Clarity of Edge Video Analytics

Zhujun Xiao, Zhengxu Xia+3 more|arXiv (Cornell University)|May 18, 2021

Advanced Neural Network Applications参考文献 72被引用 11

一句话总结

本文提出了 Yoda，这是首个针对边缘视频分析流水线（VAPs）的基准测试，通过系统性地表征 VAP 性能随视频内容变化的规律，实现了性能清晰度。通过结合基于原语的性能分析与精心筛选的视频数据集，Yoda 揭示了隐藏的性能差异，实现了透明的权衡分析，并揭示了 VAP 中的设计机遇。

ABSTRACT

Edge video analytics is becoming the solution to many safety and management tasks. Its wide deployment, however, must first address the tension between inference accuracy and resource (compute/network) cost. This has led to the development of video analytics pipelines (VAPs), which reduce resource cost by combining DNN compression/speedup techniques with video processing heuristics. Our measurement study on existing VAPs, however, shows that today's methods for evaluating VAPs are incomplete, often producing premature conclusions or ambiguous results. This is because each VAP's performance varies substantially across videos and time (even under the same scenario) and is sensitive to different subsets of video content characteristics. We argue that accurate VAP evaluation must first characterize the complex interaction between VAPs and video characteristics, which we refer to as VAP performance clarity. We design and implement Yoda, the first VAP benchmark to achieve performance clarity. Using primitive-based profiling and a carefully curated benchmark video set, Yoda builds a performance clarity profile for each VAP to precisely define its accuracy/cost tradeoff and its relationship with video characteristics. We show that Yoda substantially improves VAP evaluations by (1) providing a comprehensive, transparent assessment of VAP performance and its dependencies on video characteristics; (2) explicitly identifying fine-grained VAP behaviors that were previously hidden by large performance variance; and (3) revealing strengths/weaknesses among different VAPs and new design opportunities.

研究动机与目标

• 解决现有视频分析流水线（VAP）研究中因视频间性能波动大而导致的全面性与透明性不足的评估问题。
• 识别出 VAP 性能强烈依赖于视频内容特征，导致当前评估方法存在偏差或模糊结论。
• 提出一种新的评估标准——VAP 性能清晰度，以捕捉 VAP 与视频内容之间复杂的相互作用。
• 设计并实现 Yoda 基准测试，支持对多样化视频工作负载下 VAP 的精确、透明且细粒度的评估。
• 通过揭示不同视频内容类型下的隐藏行为、优势与劣势，支持更优的 VAP 设计与部署决策。

提出的方法

• 开发基于原语的性能分析框架，将 VAP 分解为核心操作：时间剪枝、空间剪枝与模型压缩。
• 构建一个多样化基准视频集，其内容特征（如目标密度、运动程度与分辨率）具有受控的变化。
• 使用标准化的推理任务与指标，在所有视频片段上测量 VAP 性能（准确率与成本）。
• 构建性能清晰度图谱，映射每个 VAP 的准确率与成本如何随特定视频内容特征而变化。
• 通过统计分析识别性能波动模式，并揭示视频特征与 VAP 输出结果之间的依赖关系。
• 将 Yoda 集成至开源工具链中，以支持可复现、透明且可扩展的 VAP 评估。

实验结果

研究问题

• RQ1 VAP 性能如何随不同视频内容特征而变化？现有评估中为何存在高绩效波动？
• RQ2 当前 VAP 评估方法在视频采样存在偏差或不完整时，多大程度上未能捕捉真实的准确率-成本权衡？
• RQ3 系统性基准测试方法能否揭示 VAP 与视频内容之间隐藏的性能行为与依赖关系？
• RQ4 在不同视频内容条件下，各类 VAP 的相对优势与劣势是什么？
• RQ5 如何实现性能清晰度，以指导更优的 VAP 设计与部署决策？

主要发现

• 现有 VAP 评估方法因视频间性能波动大而产生偏差或模糊结果，即使在同一场景（如高速公路交通）中亦然。
• VAP 性能对视频内容特征（如目标密度、运动程度与分辨率）高度敏感，而这些特征常被标准评估所忽略。
• Yoda 的性能清晰度图谱显示，部分 VAP（如 Glimpse 与 AWStream）表现出显著的内容依赖行为，此类特性在聚合指标中无法察觉。
• 该基准测试发现，将 Glimpse 的时间剪枝与 AWStream 的空间剪枝相结合可实现性能提升，揭示了新的设计机遇。
• Yoda 通过在多样化视频工作负载上提供透明、细粒度的评估，显著降低了评估中的性能波动，使 VAP 比较更加可靠。
• 本研究表明，当前基准测试未能捕捉 VAP 行为的完整谱系，尤其是在真实世界视频多样性与边缘资源受限条件下的表现。