[论文解读] Rate-Distortion Bounds for High-Resolution Vector Quantization via Gibbs's Inequality.

Tobias Koch, Gonzalo Vazquez-Vilar|arXiv (Cornell University)|Jul 30, 2015

Advanced Data Compression Techniques参考文献 16被引用 5

一句话总结

本文利用精心选择的辅助密度 g，通过吉布斯不等式推导出 d 维无记忆源在高分辨率矢量量化下的最小输出熵下界。结果表明，当失真趋近于零时，该下界在单维情况下渐近匹配均匀量化器的输出熵，扩展了 Gish 和 Pierce 的结果，且无需对源概率密度函数施加连续性或衰减条件。

ABSTRACT

Gibbs's inequality states that the differential entropy of a random variable with probability density function (pdf) $f$ is less than or equal to its cross entropy with any other pdf $g$ defined on the same alphabet, i.e., $h(X)\leq -\mathsf{E}[\log g(X)]$. Using this inequality with a cleverly chosen $g$, we derive a lower bound on the smallest output entropy that can be achieved by quantizing a $d$-dimensional source with given expected $r$th-power distortion. Specialized to the one-dimensional case, and in the limit of vanishing distortion, this lower bound converges to the output entropy achieved by a uniform quantizer, thereby recovering the result by Gish and Pierce that uniform quantizers are asymptotically optimal as the allowed distortion tends to zero. Our lower bound holds for any $d$-dimensional memoryless source that has a pdf and whose differential entropy and R\'enyi information dimension are finite. In contrast to Gish and Pierce, we do not require any additional constraints on the continuity or decay of the source pdf.

研究动机与目标

• 在给定 r 次幂失真约束下，建立 d 维无记忆源可实现的最小输出熵的下界。
• 将 Gish 和 Pierce 关于均匀量化器渐近最优性的结果推广至高维情形，且无需对源概率密度函数施加连续性或衰减条件。
• 为基于微分熵和交叉熵不等式的高分辨率矢量量化提供严谨的信息论基础。
• 证明当失真趋近于零时，所推导的下界在单维极限下收敛于均匀量化器的输出熵。

提出的方法

• 应用吉布斯不等式（即 h(X) ≤ −E[log g(X)]），将源的微分熵与所选辅助密度 g 的交叉熵关联起来。
• 选择辅助密度 g 为量化区域上的均匀分布，从而对交叉熵项实现紧密控制。
• 利用 r 次幂失真约束，将期望失真表示为量化器输出区域与源概率密度函数的函数。
• 通过在失真约束下最小化交叉熵项，利用变分法或对 g 的优化，推导出输出熵的下界。
• 将该边界应用于单维情形，并在失真趋近于零时取极限，以恢复均匀量化器的输出熵。
• 证明该边界对任意具有有限微分熵和 R{\'e}nyi 信息维数的 d 维无记忆源均成立，且无需概率密度函数的光滑性假设。

实验结果

研究问题

• RQ1 能否利用信息论不等式推导出高分辨率矢量量化下最小输出熵的下界？
• RQ2 所推导的下界在单维、低失真极限下是否收敛于均匀量化器的输出熵？
• RQ3 能否在不假设源概率密度函数连续性或衰减性质的前提下，证明均匀量化器的渐近最优性？
• RQ4 在高维设置中，辅助密度 g 的选择如何影响下界紧密度？
• RQ5 在高分辨率条件下，使该边界达到紧致性的源分布的必要和充分条件是什么？

主要发现

• 本文推导出在 r 次幂失真约束下，d 维无记忆源的最小输出熵下界，适用于任意具有有限微分熵和 R{\'e}nyi 信息维数的源。
• 在单维情况下，当失真趋近于零时，该下界收敛于均匀量化器的输出熵，恢复了 Gish 和 Pierce 的结果。
• 该边界无需源概率密度函数连续、有界或在无穷远处衰减，显著扩展了先前结果的适用范围。
• 采用吉布斯不等式并选择均匀辅助密度 g，可获得输出熵的紧致且可解析处理的下界。
• 所推导的下界在高分辨率条件下渐近紧致，表明均匀量化器在此极限下具有信息论最优性。
• 该方法为矢量量化中率失真下界推导提供了一个通用框架，仅需有限微分熵和 R{\'e}nyi 维数的假设，无需其他分布假设。