[论文解读] THIA: Accelerating Video Analytics using Early Inference and Fine-Grained Query Planning

Jiashen Cao, Ramyad Hadidi+2 more|arXiv (Cornell University)|Feb 16, 2021

Advanced Image and Video Retrieval Techniques参考文献 23被引用 6

一句话总结

THIA 通过使用单个目标检测模型并结合多个早期退出点实现动态吞吐量-精度权衡，辅以细粒度查询规划和轻量级退出点估计算法，显著加速视频分析。相比最先进系统，其速度最高提升 6.5 倍，同时在难以检测的事件上仍保持高精度。

ABSTRACT

To efficiently process visual data at scale, researchers have proposed two techniques for lowering the computational overhead associated with the underlying deep learning models. The first approach consists of leveraging a specialized, lightweight model to directly answer the query. The second approach focuses on filtering irrelevant frames using a lightweight model and processing the filtered frames using a heavyweight model. These techniques suffer from two limitations. With the first approach, the specialized model is unable to provide accurate results for hard-to-detect events. With the second approach, the system is unable to accelerate queries focusing on frequently occurring events as the filter is unable to eliminate a significant fraction of frames in the video. In this paper, we present THIA, a video analytics system for tackling these limitations. The design of THIA is centered around three techniques. First, instead of using a cascade of models, it uses a single object detection model with multiple exit points for short-circuiting the inference. This early inference technique allows it to support a range of throughput-accuracy tradeoffs. Second, it adopts a fine-grained approach to planning and processes different chunks of the video using different exit points to meet the user's requirements. Lastly, it uses a lightweight technique for directly estimating the exit point for a chunk to lower the optimization time. We empirically show that these techniques enable THIA to outperform two state-of-the-art video analytics systems by up to 6.5X, while providing accurate results even on queries focusing on hard-to-detect events.

研究动机与目标

• 解决现有视频分析系统存在的局限性，这些系统要么使用专用轻量级模型，要么采用重型模型进行帧过滤。
• 克服粗粒度查询规划效率低下的问题，此类规划无法根据视频中事件频率和检测难度的变化进行自适应调整。
• 在保持高性能和高精度的前提下，减少查询规划的优化时间。
• 实现基于内容特征的动态、分块级推理退出点选择。

提出的方法

• THIA 使用单个深度学习模型并设置多个早期退出点（EPs），基于置信度和复杂度实现推理的短路执行，从而提供多种吞吐量-精度权衡选择。
• 采用细粒度查询规划，为不同视频分块选择不同的退出点，以优化各分段的性能与精度。
• 使用轻量级深度学习模型估算每个视频分块的最优退出点，显著减少查询优化所需时间。
• 通过在不同退出点之间复用共享参数，避免模型切换开销，最小化 GPU 内存占用。
• 退出点估计算法通过早期网络层的特征预测最佳退出点，实现快速、实时的规划决策。
• THIA 将早期推理与自适应规划相结合，在多样化视频工作负载中实现速度与精度的平衡。

实验结果

研究问题

• RQ1 单个具有多个退出点的模型是否在视频分析任务中，相较于级联模型，在速度和内存效率方面表现更优？
• RQ2 细粒度查询规划（即为每个视频分块选择不同退出点）相比粗粒度规划，在性能提升方面有多显著？
• RQ3 轻量级估计算法能否在不运行采样帧完整推理的前提下，准确预测每个视频分块的最优退出点？
• RQ4 与传统方法相比，采用动态退出点选择的早期推理在难以检测事件上的精度保持程度如何？
• RQ5 在自适应视频分析系统中，优化时间与计划质量之间的权衡关系如何？

主要发现

• THIA 在两个最先进视频分析系统上实现了最高 6.5 倍的速度提升，同时在涉及难以检测事件的查询中仍保持高精度。
• THIA 的细粒度规划方法执行时间仅比最优暴力搜索计划慢 0.3 倍，表明其计划质量极高。
• THIA 的内存占用为 2 GB（含 5 个退出点），远低于具有相同退出点数的模型级联系统所需的 5 GB。
• 退出点估计算法通过实现无需对采样帧进行完整推理即可直接预测每一分块的最佳退出点，显著减少了优化时间。
• THIA 的早期推理技术消除了级联模型系统中昂贵的模型切换开销。
• 由于参数共享和切换成本降低，与模型级联系统相比，THIA 在速度上提升了 2 倍。