[论文解读] The Rate-Distortion-Accuracy Tradeoff: JPEG Case Study

Xiyang Luo, Hossein Talebi+3 more|arXiv (Cornell University)|Aug 3, 2020

Advanced Data Compression Techniques参考文献 36被引用 4

一句话总结

本文提出了一种可微分的、基于梯度的优化框架，用于联合调整JPEG量化表，以实现更优的率失真和率准确率权衡。通过将JPEG编码/解码和比特率估计建模为可微操作，该方法实现了端到端的反向传播，以优化量化表，实现目标比特率下的最小失真或最大分类准确率，从而在保持相同质量的情况下将文件大小减少最多17%，并在比特率小幅增加时提升识别性能。

ABSTRACT

Handling digital images is almost always accompanied by a lossy compression in order to facilitate efficient transmission and storage. This introduces an unavoidable tension between the allocated bit-budget (rate) and the faithfulness of the resulting image to the original one (distortion). An additional complicating consideration is the effect of the compression on recognition performance by given classifiers (accuracy). This work aims to explore this rate-distortion-accuracy tradeoff. As a case study, we focus on the design of the quantization tables in the JPEG compression standard. We offer a novel optimal tuning of these tables via continuous optimization, leveraging a differential implementation of both the JPEG encoder-decoder and an entropy estimator. This enables us to offer a unified framework that considers the interplay between rate, distortion and classification accuracy. In all these fronts, we report a substantial boost in performance by a simple and easily implemented modification of these tables.

研究动机与目标

• 解决JPEG压缩中率、失真和分类准确率之间的相互作用。
• 通过优化量化表（超越默认值）来提升JPEG性能，因为默认值在现代以准确率为驱动的应用中表现不佳。
• 开发一种连续的、可微分的优化框架，以实现基于梯度的量化表调优。
• 评估通用（所有图像使用同一套表）和逐图像（每幅图像自适应调整表）两种优化模式。
• 证明优化后的量化表可同时提升压缩效率和识别准确率。

提出的方法

• 将JPEG压缩流程（包括DCT、量化、熵编码和比特率估计）形式化为可微函数，以支持梯度计算。
• 使用小批量随机梯度下降配合反向传播，优化联合损失函数，以平衡率、失真和准确率。
• 将预训练分类器（如ResNet、MobileNet）集成到损失函数中，以直接优化压缩后的分类准确率。
• 实现一种可微分的熵估计器，以近似压缩图像的比特率，而无需实际编码。
• 在两种模式下应用优化：通用模式（所有图像使用同一套表）和逐图像模式（每幅图像使用独立的表）。
• 在最终实际JPEG编码器中评估前，将优化后的浮点量化表四舍五入并截断为整数（1–255）。

实验结果

研究问题

• RQ1 能否在默认值之外优化JPEG量化表，以提升率失真性能？
• RQ2 相同的优化框架能否同时提升图像分类任务中的率准确率性能？
• RQ3 在文件大小、PSNR和分类准确率方面，优化后的量化表与默认表相比表现如何？
• RQ4 与通用表优化相比，逐图像量化表优化是否能获得更好的性能？
• RQ5 该优化对学习率权重等超参数的敏感度如何？

主要发现

• 所提方法在保持相同PSNR（30.24 dB）的情况下，将文件大小从3.06 bpp减少至2.30 bpp，实现了17%的减少，显著提升了率失真性能。
• 对于同一幅图像，优化后的表在更低的比特率（1.680 bpp vs. 1.706 bpp）下将文件大小减少了1.5%，并纠正了从'Bee Eater'到'Dragonfly'的误分类。
• 为率失真性能优化的量化表比默认表对色度分量的量化更激进，反映出从基于HVS的设计转向最小化失真的转变。
• 在多个网络（MobileNetV3、ResNet50、ResNet101）的所有比特率水平下，率准确率性能均得到提升，即使表是使用不同网络优化得到的。
• 该优化对超参数选择具有鲁棒性，在广泛范围的率权重值（c_r 从0.1到10.0）下性能下降极小。
• 逐图像优化优于通用优化，可作为率准确率权衡中可实现性能的上限。