[论文解读] Preprocessing Enhanced Image Compression for Machine Vision

Lu Guo, Xingtong Ge+3 more|arXiv (Cornell University)|Jun 12, 2022

Advanced Image and Video Retrieval Techniques被引用 13

一句话总结

该论文提出了一种增强预处理的图像压缩框架，通过在标准编码器（如BPG和JPEG）之前集成一个神经预处理模块（NPP），以优化机器视觉任务。通过使用代理网络实现对非可微分编码器的端到端反向传播，该方法在保持或提升下游检测与分类性能的同时，相比BPG实现了约20%的比特率降低，并在不同编码器、主干网络和任务间展现出强大的泛化能力。

ABSTRACT

Recently, more and more images are compressed and sent to the back-end devices for the machine analysis tasks~( extit{e.g.,} object detection) instead of being purely watched by humans. However, most traditional or learned image codecs are designed to minimize the distortion of the human visual system without considering the increased demand from machine vision systems. In this work, we propose a preprocessing enhanced image compression method for machine vision tasks to address this challenge. Instead of relying on the learned image codecs for end-to-end optimization, our framework is built upon the traditional non-differential codecs, which means it is standard compatible and can be easily deployed in practical applications. Specifically, we propose a neural preprocessing module before the encoder to maintain the useful semantic information for the downstream tasks and suppress the irrelevant information for bitrate saving. Furthermore, our neural preprocessing module is quantization adaptive and can be used in different compression ratios. More importantly, to jointly optimize the preprocessing module with the downstream machine vision tasks, we introduce the proxy network for the traditional non-differential codecs in the back-propagation stage. We provide extensive experiments by evaluating our compression method for two representative downstream tasks with different backbone networks. Experimental results show our method achieves a better trade-off between the coding bitrate and the performance of the downstream machine vision tasks by saving about 20% bitrate.

研究动机与目标

• 弥合传统图像编码器的空白，这些编码器优化的是人眼视觉质量（如PSNR），而非机器视觉性能。
• 克服标准编码器（如BPG、JPEG）的不可微分性，后者会阻碍与深度学习模型的联合优化。
• 开发一种可泛化、符合标准的压缩流水线，以增强机器感知能力，而无需依赖端到端学习的编码器。
• 实现量化自适应的预处理，以支持不同QP设置下的可变压缩比。
• 在多种下游任务（目标检测、图像分类）和主干网络上验证该框架的有效性。

提出的方法

• 引入一个神经预处理模块（NPP），在标准编码器对图像进行编码前对输入图像进行过滤，以保留与机器任务相关的语义特征并抑制无关内容。
• 使用代理网络在反向传播过程中近似传统编码器（如BPG）的不可微分行为，从而实现梯度流向NPP模块。
• 利用代理网络，以端到端方式联合训练NPP模块与下游机器视觉任务，同时优化低比特率和高任务准确率。
• 设计NPP模块为量化自适应，使其可在不重新训练的情况下适配BPG中的不同QP值。
• 将基于BPG训练的同一NPP模型直接应用于JPEG，无需微调，证明了其在不同编码器间的可迁移性。
• 所使用的代理网络在前向传播中模拟BPG的解码过程，同时仍允许梯度通过NPP模块反向传播以实现优化。

Figure 1: (a) Image compression method for human visual system. (b) Our proposed preprocessing enhanced image compression for machine vision tasks. (c) Image classification results for the image from the BPG codec and ours(NPP+BPG).

实验结果

研究问题

• RQ1 神经预处理模块是否能通过与标准、不可微分的编码器（如BPG和JPEG）结合，提升机器视觉性能？
• RQ2 代理网络在实现通过不可微分编码器对NPP模块进行端到端训练方面有多有效？
• RQ3 单一NPP模型在不同压缩比（QP值）和下游任务间的泛化能力有多强？
• RQ4 在未微调的情况下，为某一任务（如目标检测）训练的NPP模型能否有效迁移到另一任务（如图像分类）？
• RQ5 与标准编码器相比，该方法在保持或提升下游任务准确率的前提下，比特率节省效果如何？

主要发现

• 所提方法在目标检测与图像分类任务中，相比BPG实现了约20%的比特率降低，同时保持了相同的模型准确率。
• 在BPG上训练的NPP模块可直接迁移至JPEG，无需微调，实现了超过8.5%的比特率节省。
• 任务间迁移学习（如使用检测优化的NPP用于分类）带来了超过10%的比特率降低，表明具有强大的跨任务泛化能力。
• 代理网络有效实现了通过BPG的反向传播，使得NPP可与下游任务联合优化，而这是标准编码器无法实现的。
• NPP模块引入的计算开销极低，224×224图像的推理时间仅为5.17ms，参数量为9.42M，具备实际部署的可行性。
• 尽管PSNR和MS-SSIM因任务特定优化而下降，但感知指标（如LPIPS）显示差距缩小——在LPIPS指标下，本方法仅比BPG多使用8%的比特率，表明视觉质量的权衡可接受。

Figure 2: Overview of our preprocessing enhanced image compression for machine vision.