[论文解读] Polarization of the R\'enyi Information Dimension for Single and Multi Terminal Analog Compression

Saeid Haghighatshoar, Emmanuel Abbé|arXiv (Cornell University)|Jan 27, 2013

Wireless Communication Security Techniques被引用 6

一句话总结

该论文表明，通过哈达玛变换，i.i.d. 混合随机变量的Rényi信息维数（RID）会极化至0或1，其行为类似于有限域上的熵极化。论文建立了RID极化与BEC（二元擦除信道）极化之间的等价性，从而实现了用于单信号和相关信号的通用、确定性部分哈达玛矩阵，为模拟到模拟（A2A）压缩提供了首个模拟对应方案，即Slepian-Wolf编码的模拟版本。

ABSTRACT

This paper shows that the R\'enyi information dimension (RID) of an i.i.d. sequence of mixture random variables polarizes to the extremal values of 0 and 1 (fully discrete and continuous distributions) when transformed by an Hadamard matrix. This provides a natural counter-part over the reals of the entropy polarization phenomenon over finite fields. It is further shown that the polarization pattern of the RID is equivalent to the BEC polarization pattern, which admits a closed form expression. These results are used to construct universal and deterministic partial Hadamard matrices for analog to analog (A2A) compression of random i.i.d. signals. In addition, a framework for the A2A compression of multiple correlated signals is developed, providing a first counter-part of the Slepian-Wolf coding problem in the A2A setting.

研究动机与目标

• 将熵极化的概念从有限域扩展到连续值信号，使用Rényi信息维数（RID）。
• 为使用RID极化的i.i.d.信号建立模拟到模拟（A2A）压缩的理论基础。
• 开发用于A2A压缩的通用且确定性的部分哈达玛矩阵构造方法。
• 将该框架扩展至多个相关信号，为Slepian-Wolf编码问题提供模拟对应方案。

提出的方法

• 通过完整的哈达玛矩阵对i.i.d. 混合随机变量进行变换，以诱导RID向0或1极化。
• 证明RID的极化模式与二元擦除信道（BEC）的极化模式一致，从而实现闭式分析。
• 基于极化行为构造部分哈达玛矩阵，确保通用且确定的压缩性能。
• 利用BEC等价性，推导出无需了解输入分布的确定性构造方法。
• 通过将单源极化原理扩展至相关源，设计多终端A2A压缩框架。
• 利用RID与BEC之间的对偶性，实现单终端与多终端场景下高效且通用的编码与解码。

实验结果

研究问题

• RQ1 在哈达玛变换下，i.i.d. 混合变量的Rényi信息维数（RID）是否能向极值（0或1）极化？
• RQ2 RID的极化模式是否与二元擦除信道（BEC）的极化模式等价？
• RQ3 能否基于RID极化构造用于A2A压缩的通用且确定性的部分哈达玛矩阵？
• RQ4 如何将单源A2A压缩框架扩展至多个相关信号？
• RQ5 该框架是否在连续域中为Slepian-Wolf编码问题提供了有效的模拟对应方案？

主要发现

• 在哈达玛变换下，i.i.d. 混合随机变量的Rényi信息维数（RID）会极化至0或1，表明其行为从完全离散向完全连续转变。
• RID的极化模式在数学上与二元擦除信道（BEC）的极化模式等价，从而可实现闭式表征。
• 可基于RID极化行为构造通用且确定性的部分哈达玛矩阵，实现无需预先知晓输入分布的高效A2A压缩。
• 该框架可推广至多个相关信号，首次在A2A设置中建立了Slepian-Wolf编码问题的模拟对应方案。
• BEC等价性使得单终端与多终端A2A压缩系统的分析可 tractable（可处理），并提供性能保证。