[论文解读] Relative Information Loss - An Introduction

Bernhard C. Geiger, Gernot Kubin|arXiv (Cornell University)|Mar 30, 2012

Mathematical Analysis and Transform Methods参考文献 14被引用 3

一句话总结

本文引入相对信息损失作为归一化度量，以量化确定性输入-输出系统中的信息退化，尤其在绝对信息损失为无穷大的情况下。它建立了与Rényi信息维数的联系，并证明量化器会造成100%的相对信息损失，同时利用相对损失度量推导出重建误差概率的上界。

ABSTRACT

We introduce a relative variant of information loss to characterize the behavior of deterministic input-output systems. We show that the relative loss is closely related to Renyi's information dimension. We provide an upper bound for continuous input random variables and an exact result for a class of functions (comprising quantizers) with infinite absolute information loss. A connection between relative information loss and reconstruction error is investigated.

研究动机与目标

• 解决绝对信息损失对连续输入和确定性映射（如量化器）为无穷大的局限性。
• 提出一种归一化的、相对的信息损失度量，即使在绝对损失发散时仍具有意义。
• 建立相对信息损失与Rényi信息维数之间的理论联系。
• 利用相对损失度量推导重建误差概率的上界。
• 通过量化器和中心削波器等实例展示该框架的适用性。

提出的方法

• 将相对信息损失定义为在量化粒度不断细化时，条件熵与边缘熵之比的极限：$ l(\mathbf{X} \to \mathbf{Y}) = \lim_{n \to \infty} \frac{H(\hat{\mathbf{X}}_n | \mathbf{Y})}{H(\hat{\mathbf{X}}_n)} $，其中 $ \hat{\mathbf{X}}_n = \lfloor n\mathbf{X} \rfloor / n $。
• 利用Rényi信息维数刻画连续分布中微熵的标度行为，并将其与相对损失的极限联系起来。
• 证明对于绝对信息损失为无穷的系统（如量化器），相对损失收敛于1，表明信息被完全破坏。
• 利用相对信息损失推导重建误差概率的上界：$ P_e \leq l(\mathbf{X} \to \mathbf{Y}) $，在某些情况下等号成立。
• 将该框架应用于标量和向量量化器、中心削波器等具体系统，以验证理论结果。

实验结果

研究问题

• RQ1 在绝对信息损失为无穷的确定性系统中，如何有意义地量化信息损失？
• RQ2 相对信息损失与Rényi信息维数之间有何关系？
• RQ3 能否利用相对信息损失推导出重建误差概率的上界？
• RQ4 相对损失在多大程度上能捕捉系统的内在信息退化，特别是在非线性或不连续映射中？
• RQ5 在量化器和中心削波器等实际系统中，相对损失的行为如何？

主要发现

• 量化器的相对信息损失恰好为1，表明无论量化比特数或设计准则如何，其均会完全破坏100%的可用信息。
• 相对信息损失在数学上与Rényi信息维数相关联，为其解释提供了理论基础。
• 对于连续输入随机变量，推导出相对信息损失的上界，其依赖于输入分布的维度和结构。
• 重建误差概率由相对信息损失上界控制，且在中心削波器等函数在可测集外为双射的系统中，该界是紧致的。
• 在中心削波器情况下，相对信息损失等于削波区间内的概率质量 $ P_X([-c,c]) $，且重建误差概率与该值相等，证实了边界的紧致性。