[论文解读] Semantic-assisted image compression

Qizheng Sun, Caili Guo+3 more|arXiv (Cornell University)|Jan 29, 2022

Advanced Data Compression Techniques被引用 4

一句话总结

本文提出了一种基于深度学习的新型图像压缩框架——语义辅助图像压缩（SAIC），该框架优化的是下游人工智能任务中的语义一致性，而非像素级保真度。通过利用基于梯度的语义权重机制（GSW）和语义互信息（SI）度量，SAIC在相同压缩比下，在图像分类和目标检测任务中均表现出优越性能，优于传统及感知压缩方法。

ABSTRACT

Conventional image compression methods typically aim at pixel-level consistency while ignoring the performance of downstream AI tasks.To solve this problem, this paper proposes a Semantic-Assisted Image Compression method (SAIC), which can maintain semantic-level consistency to enable high performance of downstream AI tasks.To this end, we train the compression network using semantic-level loss function. In particular, semantic-level loss is measured using gradient-based semantic weights mechanism (GSW). GSW directly consider downstream AI tasks' perceptual results. Then, this paper proposes a semantic-level distortion evaluation metric to quantify the amount of semantic information retained during the compression process. Experimental results show that the proposed SAIC method can retain more semantic-level information and achieve better performance of downstream AI tasks compared to the traditional deep learning-based method and the advanced perceptual method at the same compression ratio.

研究动机与目标

• 解决传统图像压缩方法优先考虑像素级一致性而非下游AI任务性能的局限性。
• 在图像压缩过程中保持语义级一致性，以提升图像分类和目标检测等任务的性能。
• 开发一种直接将下游AI模型的感知结果整合到压缩训练过程中的方法。
• 引入一种新度量——语义互信息（SI），以量化压缩过程中的语义级失真。

提出的方法

• SAIC框架使用基于下游AI任务感知输出的语义级损失函数进行训练的压缩网络。
• 基于梯度的语义权重机制（GSW）根据特征图对下游任务性能的贡献动态分配重要性。
• GSW机制利用下游模型最后一层的梯度计算注意力权重，聚焦于最相关于语义理解的特征。
• 一种新的语义互信息（SI）度量用于量化压缩后保留的语义信息量，作为失真度量。
• 该方法将GSW和SI集成到压缩自编码器的端到端训练中，实现压缩与任务性能的联合优化。
• 该方法在不同任务上具有泛化能力，已在分类和目标检测基准上以不同压缩比得到验证。

实验结果

研究问题

• RQ1 图像压缩能否被优化以保留对下游AI任务至关重要的语义级信息？
• RQ2 如何有效利用下游模型的感知输出来引导压缩过程？
• RQ3 与像素级或特征级优化相比，语义级优化对任务性能的影响如何？
• RQ4 基于语义互信息（SI）的新失真度量能否准确反映AI任务中压缩图像的质量？

主要发现

• 在0.125 bpp时，SAIC在STL-10数据集上实现了69.69%的分类准确率，分别优于TDIC（63.26%）和APIC（68.55%）6.43%和1.14%。
• 在同一数据集上，SAIC在0.125 bpp时的语义互信息（SI）得分为68.10，显著高于TDIC（53.87）和APIC（64.60）。
• 在Pascal VOC数据集上，SAIC在0.5 bpp时保持了72.0%的平均精度均值（mAP），与APIC（72.1%）相当，远超TDIC（71.3%）。
• SAIC的性能提升在低比特率下更为显著，尤其在0.125 bpp时相对增益最大，表明其在高比例压缩下具有强鲁棒性。
• GSW的最佳温度超参数τ约为2900–3100，可在避免权重过度集中或过度分散之间实现平衡。
• 所提出的SI度量能有效量化语义级失真，并与下游任务性能高度相关，验证了其作为有意义评估度量的有效性。