[论文解读] Video Coding for Machines: A Paradigm of Collaborative Compression and Intelligent Analytics

Ling‐Yu Duan, Jiaying Liu+3 more|arXiv (Cornell University)|Jan 10, 2020

Advanced Vision and Imaging参考文献 144被引用 7

一句话总结

本文提出了面向机器的视频编码（VCM），这是一种协同压缩范式，通过联合优化视频流与特征流，实现面向机器视觉和人眼视觉的高效编码。通过整合预测性与生成性深度学习模型，VCM 在比 HEVC 更低码率下实现了更优的视频重建质量，展示了在大数据应用中智能视频分析的显著效率提升。

ABSTRACT

Video coding, which targets to compress and reconstruct the whole frame, and feature compression, which only preserves and transmits the most critical information, stand at two ends of the scale. That is, one is with compactness and efficiency to serve for machine vision, and the other is with full fidelity, bowing to human perception. The recent endeavors in imminent trends of video compression, e.g. deep learning based coding tools and end-to-end image/video coding, and MPEG-7 compact feature descriptor standards, i.e. Compact Descriptors for Visual Search and Compact Descriptors for Video Analysis, promote the sustainable and fast development in their own directions, respectively. In this paper, thanks to booming AI technology, e.g. prediction and generation models, we carry out exploration in the new area, Video Coding for Machines (VCM), arising from the emerging MPEG standardization efforts1. Towards collaborative compression and intelligent analytics, VCM attempts to bridge the gap between feature coding for machine vision and video coding for human vision. Aligning with the rising Analyze then Compress instance Digital Retina, the definition, formulation, and paradigm of VCM are given first. Meanwhile, we systematically review state-of-the-art techniques in video compression and feature compression from the unique perspective of MPEG standardization, which provides the academic and industrial evidence to realize the collaborative compression of video and feature streams in a broad range of AI applications. Finally, we come up with potential VCM solutions, and the preliminary results have demonstrated the performance and efficiency gains. Further direction is discussed as well.

研究动机与目标

• 通过统一视频与特征压缩，解决传统‘先压缩后分析’管道在大数据视频分析中的低效问题。
• 通过协同优化，弥合以人为主导的视频编码与以机器为主导的特征压缩之间的差距。
• 提出一种新范式——面向机器的视频编码（VCM），与面向人工智能驱动视频应用的新兴 MPEG 标准化工作保持一致。
• 利用基于深度学习的预测与生成模型，实现视频与特征流的可扩展端到端优化。
• 为 VCM 中多个视觉任务的熵界与反馈机制提供理论与实践基础。

提出的方法

• 将 VCM 建模为统一框架，利用分层深度神经网络联合压缩视频帧与机器可提取的特征。
• 利用预测与生成模型提取紧凑且具有判别力的特征，同时保持人眼视觉的重建保真度。
• 将紧凑的特征描述符（如 CDVA、CDVS）集成到视频编码流程中，实现互操作性与低码率传输。
• 采用率失真优化方法，使用恒定码率因子与 HEVC 进行性能对比，评估 SSIM 与视觉质量。
• 设计可扩展的反馈机制，支持机器视觉中不同抽象层级的多任务优化。
• 采用端到端学习，联合优化视频压缩与特征提取，最小化跨流冗余。

实验结果

研究问题

• RQ1 如何协同优化视频与特征压缩，以提升机器视觉应用中的性能与效率？
• RQ2 在多任务视频分析中，熵界与任务特定性能之间的理论关系是什么？
• RQ3 基于深度学习的预测与生成模型能否减少 VCM 在多样化视频领域中的域偏移问题？
• RQ4 与传统 HEVC 相比，VCM 框架在率失真性能与视觉质量方面表现如何？
• RQ5 生物启发式数据采集机制（如脉冲相机）在推动 VCM 实现实时、低延迟分析方面发挥什么作用？

主要发现

• 所提出的 VCM 方法在更低码率下实现了优于 HEVC 的视频重建质量，SSIM 值表明性能更优。
• 主观评估显示，VCM 结果的压缩伪影显著少于 HEVC，重建图像更具视觉吸引力。
• 率失真曲线表明，VCM 在所有测试码率下均优于 HEVC，且在低码率下保持更高质量。
• 初步结果证实，视频与特征流的协同压缩可实现高效传输与高精度分析，适用于人工智能工作负载。
• 将紧凑描述符（CDVA、CDVS）集成到编码流程中，实现了互操作性与低带宽传输，适用于大规模视频分析。
• 该框架在多任务视觉任务中展现出强大的可扩展性与基于反馈的优化潜力，为未来理论与实践进步铺平道路。