[论文解读] On Perceptual Lossy Compression: The Cost of Perceptual Reconstruction and An Optimal Training Framework

Zeyu Yan, Fei Wen+3 more|arXiv (Cornell University)|Jun 5, 2021

Advanced Image Processing Techniques参考文献 45被引用 6

一句话总结

本文从理论上证明，在给定比特率下，实现有损压缩中的完美感知质量会使最小可实现MSE失真恰好翻倍。本文提出一种新颖的训练框架，采用判别器条件依赖于MSE优化编码器的生成对抗网络（GAN），在实现完美感知重建的前提下，实现了最低的MSE失真，优于传统的失真加对抗损失方法。

ABSTRACT

Lossy compression algorithms are typically designed to achieve the lowest possible distortion at a given bit rate. However, recent studies show that pursuing high perceptual quality would lead to increase of the lowest achievable distortion (e.g., MSE). This paper provides nontrivial results theoretically revealing that, extit{1}) the cost of achieving perfect perception quality is exactly a doubling of the lowest achievable MSE distortion, extit{2}) an optimal encoder for the "classic" rate-distortion problem is also optimal for the perceptual compression problem, extit{3}) distortion loss is unnecessary for training a perceptual decoder. Further, we propose a novel training framework to achieve the lowest MSE distortion under perfect perception constraint at a given bit rate. This framework uses a GAN with discriminator conditioned on an MSE-optimized encoder, which is superior over the traditional framework using distortion plus adversarial loss. Experiments are provided to verify the theoretical finding and demonstrate the superiority of the proposed training framework.

研究动机与目标

• 对有损压缩中感知质量与失真之间的权衡进行定量分析。
• 确定感知约束是否本质上会增加最小可实现失真。
• 开发一种在固定比特率下实现完美感知重建时达到最低MSE失真的训练框架。
• 研究在感知压缩中训练编码器和解码器是否需要使用感知损失。

提出的方法

• 通过理论分析推导出在完美感知质量条件下的率失真界，表明与标准率失真优化相比，最小MSE失真恰好翻倍。
• 证明经典率失真问题中的最优编码器在完美感知质量约束下同样是最优的。
• 提出一种新颖的训练框架：首先仅使用MSE损失训练编码器，然后使用条件依赖于预训练编码器的对抗损失训练解码器。
• GAN中的判别器条件依赖于MSE优化的编码器，从而确保解码器学习生成具有感知真实感的输出，而无需使用失真损失。
• 该框架在解码器训练中避免使用失真损失，在编码器训练中避免使用感知损失，从而简化了优化过程。
• 在MNIST上的实验验证了理论结果，并表明其性能优于传统的失真加对抗损失（DAL）框架。

实验结果

研究问题

• RQ1 在有损压缩中强制实现完美感知质量时，最小MSE失真增加的精确代价是多少？
• RQ2 在完美感知质量约束下，针对MSE失真优化的编码器是否仍为最优？
• RQ3 在编码器训练过程中是否可以不使用感知损失即实现感知重建？
• RQ4 在感知压缩系统中，训练解码器是否需要失真损失？
• RQ5 基于GAN的框架若采用条件判别器，是否能优于传统的失真加对抗损失训练方法？

主要发现

• 在相同比特率下，完美感知质量条件下的最小可实现MSE失真恰好是标准率失真问题的两倍。
• 针对MSE失真优化的编码器，在完美感知质量约束下同样是最优的。
• 训练编码器时无需使用感知损失，因为最优编码器本身已是MSE优化的。
• 训练解码器时无需使用失真损失，因为所提出的框架仅通过对抗损失即可实现完美感知重建。
• 所提出的基于GAN的框架，其判别器条件依赖于MSE优化的编码器，在感知质量和MSE失真方面均优于传统的失真加对抗损失（DAL）框架。
• 在MNIST上的实验结果证实，感知约束下的率失真权衡与理论预测完全一致，即MSE失真恰好翻倍。