[论文解读] Video Coding for Machine: Compact Visual Representation Compression for Intelligent Collaborative Analytics

Wenhan Yang, Haofeng Huang+3 more|arXiv (Cornell University)|Oct 18, 2021

Visual Attention and Saliency Detection参考文献 42被引用 14

一句话总结

本文提出了一种用于视频编码机器（VCM）的码书超先验模型，以实现紧凑的多任务视觉表征压缩，支持在低比特率下的多样化机器视觉分析。通过缩小深度特征与语义标签之间的维度差距，该方法实现了更优的特征压缩效率，并支持跨任务的有效迁移学习，在下游分析任务中优于传统图像编解码器（如BPG）。

ABSTRACT

Video Coding for Machines (VCM) is committed to bridging to an extent separate research tracks of video/image compression and feature compression, and attempts to optimize compactness and efficiency jointly from a unified perspective of high accuracy machine vision and full fidelity human vision. In this paper, we summarize VCM methodology and philosophy based on existing academia and industrial efforts. The development of VCM follows a general rate-distortion optimization, and the categorization of key modules or techniques is established. From previous works, it is demonstrated that, although existing works attempt to reveal the nature of scalable representation in bits when dealing with machine and human vision tasks, there remains a rare study in the generality of low bit rate representation, and accordingly how to support a variety of visual analytic tasks. Therefore, we investigate a novel visual information compression for the analytics taxonomy problem to strengthen the capability of compact visual representations extracted from multiple tasks for visual analytics. A new perspective of task relationships versus compression is revisited. By keeping in mind the transferability among different machine vision tasks (e.g. high-level semantic and mid-level geometry-related), we aim to support multiple tasks jointly at low bit rates. In particular, to narrow the dimensionality gap between neural network generated features extracted from pixels and a variety of machine vision features/labels (e.g. scene class, segmentation labels), a codebook hyperprior is designed to compress the neural network-generated features. As demonstrated in our experiments, this new hyperprior model is expected to improve feature compression efficiency by estimating the signal entropy more accurately, which enables further investigation of the granularity of abstracting compact features among different tasks.

研究动机与目标

• 解决多个机器视觉任务缺乏可泛化、低比特率视觉表征压缩方法的问题。
• 弥合深度神经网络特征与高层语义标签（如场景类别、语义分割）之间的维度差距，以实现高效压缩。
• 通过联合优化压缩与特征效用，实现跨多样化任务的协同分析。
• 通过基于码书的超先验实现精确的熵估计，提升特征压缩效率。
• 利用在部分任务上训练的压缩表征支持未见的下游任务，展示其可迁移性。

提出的方法

• 设计一种码书超先验模型，学习多个机器视觉任务之间的共享潜在表征，以减少维度不匹配。
• 集成（反向）迁移映射，将不同任务的特征对齐至统一的紧凑表征空间。
• 使用率-失真（R-D）权衡优化压缩模型，以部分任务作为监督信号，同时支持未见任务的推理。
• 采用超先验机制，相比标准先验更准确地估计信号熵，从而提升压缩效率。
• 在多个任务（如场景分类、语义分割、表面法线估计）上端到端训练模型，以学习可迁移的特征。
• 通过在未见任务上评估压缩表征的性能，包括外部（External）和源特征+（Source+）设置，以评估泛化能力。

实验结果

研究问题

• RQ1 如何高效压缩紧凑视觉表征，以在低比特率下支持多个机器视觉任务？
• RQ2 单一压缩表征在多样化、无关的机器视觉任务之间具有多大程度的泛化能力？
• RQ3 基于码书的超先验是否能优于标准先验，用于压缩多任务深度特征？
• RQ4 在编码端包含未见任务的源特征但未在训练中直接监督该任务时，该任务的性能如何变化？
• RQ5 压缩效率与支持外部分析任务的能力之间存在何种权衡？

主要发现

• 所提出的码书超先验模型在压缩效率上优于基线方法，在保持特征效用的同时减小了比特率。
• 该方法实现了有效的迁移学习：在两个任务（如场景分类与分割）上训练的压缩表征，可对未见任务（如目标分类）实现高精度支持。
• 在‘Source+’设置下，编码端包含未见任务的特征但未在训练中直接监督该任务，其性能优于‘External’和‘Internal’设置。
• 与最先进的任务无关图像编解码器BPG相比，该方法在相同验证集上实现了更高的目标分类准确率（53.50% vs. 54.56% bpp）和更低的重着色比特率（0.205 vs. 0.222 bpp）。
• 该模型展现出强大的泛化能力：即使未受直接监督，仅基于部分任务训练的压缩特征也能以具有竞争力的性能支持外部分析任务。