[论文解读] Towards Empirical Sandwich Bounds on the Rate-Distortion Function

Yibo Yang, Stephan Mandt|arXiv (Cornell University)|Nov 23, 2021

Advanced Data Compression Techniques参考文献 59被引用 6

一句话总结

本文首次基于仅独立同分布（i.i.d.）样本，提出了针对通用非离散数据源的率失真（R-D）函数的经验夹逼边界。通过结合基于变分自编码器的上界估计与基于随机梯度上升的下界估计器（在平方误差失真下），该方法在生成对抗网络（GAN）生成数据和真实世界数据上实现了紧密的R-D边界，揭示了当前最先进的图像压缩方法至少存在1 dB的理论性能提升潜力。

ABSTRACT

Rate-distortion (R-D) function, a key quantity in information theory, characterizes the fundamental limit of how much a data source can be compressed subject to a fidelity criterion, by any compression algorithm. As researchers push for ever-improving compression performance, establishing the R-D function of a given data source is not only of scientific interest, but also sheds light on the possible room for improving compression algorithms. Previous work on this problem relied on distributional assumptions on the data source (Gibson, 2017) or only applied to discrete data (Blahut, 1972; Arimoto, 1972). By contrast, this paper makes the first attempt at an algorithm for sandwiching the R-D function of a general (not necessarily discrete) source requiring only i.i.d. data samples. We estimate R-D sandwich bounds for a variety of artificial and real-world data sources, in settings far beyond the feasibility of any known method, and shed light on the optimality of neural data compression (Ballé et al., 2021; Yang et al., 2022). Our R-D upper bound on natural images indicates theoretical room for improving state-of-the-art image compression methods by at least one dB in PSNR at various bitrates. Our data and code can be found at https://github.com/mandt-lab/empirical-RD-sandwich.

研究动机与目标

• 在不假设分布形式的前提下，估计通用数据源的根本率失真极限。
• 提出一种实用方法，仅使用i.i.d.数据样本即可计算R-D函数的上下界。
• 通过估计理论性能极限，评估现代神经压缩方法的最优性。
• 识别数据内在维度是影响边界紧致性的重要因素。

提出的方法

• 提出一种基于β-VAE与失真诱导似然的变分推断框架，以最小化R-D函数的上界。
• 基于对偶优化问题推导出下界估计器，通过在代理目标函数上使用随机梯度上升进行优化。
• 采用线性规划松弛方法，构建多个λ值下线性下界估计器的逐点最大值，从而提升下界估计的紧致性。
• 为实现实际应用，限制使用平方误差失真，同时保持下界估计的渐近精确性。
• 通过多次蒙特卡洛采样估计上下界的均值与置信区间。
• 将该方法应用于人工GAN生成数据及来自语音与物理模拟的真实世界数据集，验证了其在不同领域的鲁棒性。

实验结果

研究问题

• RQ1 我们能否仅基于i.i.d.样本，而不假设离散或参数化分布，估计未知通用数据源的率失真函数？
• RQ2 对于真实世界与人工数据源，经验夹逼边界的紧致性如何？哪些因素会影响其紧致性？
• RQ3 当前神经压缩方法与理论R-D极限之间的差距有多大？还存在多大的改进空间？
• RQ4 数据源的内在维度在多大程度上影响下界估计器的质量？

主要发现

• 对Kodak与Tecnick数据集中高分辨率自然图像的R-D上界估计表明，相较于当前最先进的图像压缩方法，理论PSNR性能至少可提升1 dB。
• 所提方法在GAN生成数据与真实世界数据（包括语音与物理模拟数据）上均实现了非平凡的夹逼边界。
• 下界估计器表现出渐近精确性，且通过随机梯度上升实现稳健优化，置信区间表明估计结果可靠。
• 数据源的内在维度被识别为影响下界紧致性的关键因素，维度越高，边界越松散。
• 对于维度d=4的GAN生成图像，在λ=4000时，估计的下界达到6.91（90%置信下限），显示出强一致性。
• 上界估计在多个λ值下表现出一致的置信区间，证实了方法的稳定性和可靠性。