[论文解读] Observer Dependent Lossy Image Compression

Maurice Weber, Cédric Renggli+2 more|arXiv (Cornell University)|Oct 8, 2019

Advanced Image Processing Techniques参考文献 41被引用 6

一句话总结

本文提出一种基于深度神经网络的观察者相关有损图像压缩方法，其中压缩模型通过针对人类视觉质量（基于MS-SSIM）或分类准确率（基于VGG-16特征）定制的感知损失函数进行训练。主要贡献在于清晰展示了人类感知与分类性能之间的权衡关系：在0.25 bpp下，经分类优化的压缩方法可保留Inception-ResNet-V2 98%的准确率，优于BPG和传统编码器，且无需对分类器进行微调。

ABSTRACT

Deep neural networks have recently advanced the state-of-the-art in image compression and surpassed many traditional compression algorithms. The training of such networks involves carefully trading off entropy of the latent representation against reconstruction quality. The term quality crucially depends on the observer of the images which, in the vast majority of literature, is assumed to be human. In this paper, we aim to go beyond this notion of compression quality and look at human visual perception and image classification simultaneously. To that end, we use a family of loss functions that allows to optimize deep image compression depending on the observer and to interpolate between human perceived visual quality and classification accuracy, enabling a more unified view on image compression. Our extensive experiments show that using perceptual loss functions to train a compression system preserves classification accuracy much better than traditional codecs such as BPG without requiring retraining of classifiers on compressed images. For example, compressing ImageNet to 0.25 bpp reduces Inception-ResNet classification accuracy by only 2%. At the same time, when using a human friendly loss function, the same compression system achieves competitive performance in terms of MS-SSIM. By combining these two objective functions, we show that there is a pronounced trade-off in compression quality between the human visual system and classification accuracy.

研究动机与目标

• 研究人类感知与机器视觉系统所感知的图像压缩质量之间的权衡关系。
• 开发一种无需在压缩图像上微调分类器即可跨不同分类器泛化的压缩框架。
• 评估基于深度特征的感知损失函数是否能在高比特率下比传统编码器更好地保持分类准确率。
• 证明可在统一的深度学习框架中显式地为不同观察者（人类或分类器）优化压缩质量。

提出的方法

• 该方法使用基于深度神经网络的图像压缩架构，通过MS-SSIM（用于人类视觉质量）与VGG-16特征重建损失（用于分类准确率）的凸组合进行训练。
• 分类用的感知损失基于预训练VGG-16网络的中间特征计算，使压缩模型能够保留对下游任务至关重要的判别性特征。
• 模型通过加权两者的损失和进行端到端训练，实现人类友好与分类友好压缩目标之间的插值。
• 该框架在ImageNet-1K、CUB-200-2011和Stanford Dogs数据集上进行评估，人类感知使用MS-SSIM，分类性能使用top-1准确率。
• 该方法应用于从零开始在ImageNet-1K上训练的端到端学习压缩模型（基于RNN），且未在压缩数据上进行微调。
• 该方法对分类器架构具有无关性，不同模型（如Inception-ResNet-V2和VGG-16）均表现出一致性能。

实验结果

研究问题

• RQ1 单一学习型图像压缩系统是否可同时优化人类视觉感知与机器分类准确率？
• RQ2 基于预训练分类器深层特征的感知损失是否能在高比特率下比传统编码器更好地保持分类准确率？
• RQ3 人类与机器视觉系统之间的压缩质量权衡是否可测量？
• RQ4 该压缩系统是否可在不需在压缩图像上微调的情况下，泛化至不同分类器架构？
• RQ5 在MS-SSIM与分类准确率两方面，观察者相关压缩的性能与BPG、JPEG和WebP等最先进编码器相比如何？

主要发现

• 在0.25 bpp下，经分类优化的压缩系统在ImageNet-1K上使Inception-ResNet-V2的top-1准确率仅下降2%，而BPG下降19.6%。
• 分类优化系统在0.25 bpp下于ImageNet-1K上保持78.0%的top-1准确率，显著优于BPG（70.7%）和JPEG（71.5%）。
• 人类优化系统在Kodak数据集上实现0.954的MS-SSIM，优于BPG（0.942）和WebP，且与Mentzer等人（0.959）的最先进方法相当。
• 在细粒度视觉分类任务（Stanford Dogs与CUB-200-2011）中，分类优化系统在所有比特率下均持续优于BPG、JPEG、WebP以及Mentzer等人的方法，尤其在低于0.5 bpp时优势显著。
• 人类感知与分类准确率之间的权衡关系明显：提升一方会以牺牲另一方为代价，即使向分类损失微调，也能在准确率上获得显著提升，而MS-SSIM仅轻微下降。
• 该方法具有良好的泛化能力，基于VGG-16特征的损失在无需在压缩数据上微调的情况下，可有效保持Inception-ResNet-V2及其他模型的性能。