[论文解读] Semantic Compression with Side Information: A Rate-Distortion Perspective

Tao Guo, Yizhu Wang+4 more|arXiv (Cornell University)|Aug 12, 2022

Advanced Data Compression Techniques被引用 8

一句话总结

本文通过构建一个联合源与语义编码的率失真框架，形式化了在编码器和解码器均具备视频帧内与帧间相关性所生成的辅助信息（side information）条件下的语义压缩信息论极限。研究结果表明，在高斯与二元马尔可夫模型下，仅压缩语义信息相比完整源信号重建可显著降低编码率，且在多种场景（包括二元分类与高斯源）下推导出了精确的率失真函数。

ABSTRACT

We consider the semantic rate-distortion problem motivated by task-oriented video compression. The semantic information corresponding to the task, which is not observable to the encoder, shows impacts on the observations through a joint probability distribution. The similarities among intra-frame segments and inter-frames in video compression are formulated as side information available at both the encoder and the decoder. The decoder is interested in recovering the observation and making an inference of the semantic information under certain distortion constraints. We establish the information-theoretic limits for the tradeoff between compression rates and distortions by fully characterizing the rate-distortion function. We further evaluate the rate-distortion function under specific Markov conditions for three scenarios: i) both the task and the observation are binary sources; ii) the task is a binary classification of an integer observation as even and odd; iii) Gaussian correlated task and observation. We also illustrate through numerical results that recovering only the semantic information can reduce the coding rate comparing to recovering the source observation.

研究动机与目标

• 将面向任务的视频压缩建模为一种带有辅助信息的语义率失真问题，其中编码器与解码器均可访问辅助信息。
• 刻画在恢复源观测值与语义信息时，压缩率与失真之间的基本权衡关系。
• 在特定马尔可夫与高斯模型下评估率失真函数，以量化仅恢复语义信息带来的增益。
• 证明在相同失真约束下，仅恢复语义信息可实现比完整源信号重建更低的编码率。

提出的方法

• 构建一个联合源与语义编码模型，要求解码器在分别的失真约束下重建源信号并推断语义信息。
• 引入来自帧内与帧间相关性的辅助信息，将其建模为编码器与解码器共同观测的通用随机变量。
• 通过互信息与最小均方误差（MMSE）估计，推导在给定辅助信息条件下语义信息的条件率失真函数。
• 证明当源信号部分在给定辅助信息下条件独立时，对源信号各部分进行独立压缩具有最优性。
• 利用高斯与二元马尔可夫模型对率失真函数进行解析评估，包括上下界分析。
• 通过构造显式编码策略，证明在不同失真区域下可实现所推导的边界。

实验结果

研究问题

• RQ1 在存在辅助信息且仅需恢复语义信息以完成特定任务时，其基本的率失真权衡关系是什么？
• RQ2 来自帧内与帧间相关性的辅助信息如何影响语义恢复的可实现压缩率？
• RQ3 在相同失真约束下，仅压缩语义信息是否能实现比完整源信号重建更低的编码率？
• RQ4 在辅助信息与语义推断条件下，二元与高斯模型的精确率失真函数是什么？
• RQ5 在存在辅助信息时，何种条件下对源信号各部分进行独立压缩是最优的？

主要发现

• 对于具有马尔可夫结构的二元源信号，率失真函数被完全刻画，结果表明仅恢复语义信息相比完整源信号重建可降低编码率。
• 在二元分类场景（如整数源的奇偶性）中，推导出率失真函数，数值结果验证了仅恢复语义信息时编码率的降低。
• 对于高斯源信号，率失真函数表达为 $ R(D_1, D_2, D_s) = \max\left(R_{X_1|Y}(D_1), R_{S|Y}(D_s)\right) + R_{X_2|Y}(D_2) $，其精确表达式涉及方差与互信息。
• 当 $ D_s \geq \text{mmse} + \frac{\sigma_{SX_1}^2 \sigma_{X_1|Y}}{\sigma_{X_1}^2} $ 时，语义信息的率失真函数 $ R_{S|Y}(D_s) $ 降为零，表明语义恢复无需额外码率。
• 在高斯情况下，$ R_{S|Y}(D_s) $ 的上下界完全吻合，证明了所推导表达式 $ R_{S|Y}(D_s) = \frac{1}{2}\left(\log\frac{\sigma_{SX_1}^2 \sigma_{X_1|Y}}{\sigma_{X_1}^2 (D_s - \text{mmse})}\right)^+ $ 的紧致性。
• 通过构造编码方案证明了可实现性：根据失真约束，可先重建 $ X_1 $ 与 $ X_2 $ 再推导 $ \hat{S} $，或先重建 $ \hat{S} $ 与 $ X_2 $ 再推导 $ \hat{X}_1 $。