[论文解读] Remarks on the Most Informative Function Conjecture at fixed mean

Guy Kindler, Ryan O’Donnell+1 more|arXiv (Cornell University)|Jun 10, 2015

Wireless Communication Security Techniques参考文献 2被引用 9

一句话总结

该论文解决了高斯空间和球面上的Courtade–Kumar猜想的连续类比，证明在相关输入下最具有信息量的布尔函数由坐标函数最大化。通过重排的对称化方法和从球面到高斯空间的极限论证，作者证明了噪声算子的$Φ$-熵由半空间指示函数最大化，从而在连续设定下证实了该猜想。

ABSTRACT

In 2013, Courtade and Kumar posed the following problem: Let $\boldsymbol{x} \sim \{\pm 1\}^n$ be uniformly random, and form $\boldsymbol{y} \sim \{\pm 1\}^n$ by negating each bit of $\boldsymbol{x}$ independently with probability $α$. Is it true that the mutual information $I(f(\boldsymbol{x}) \mathbin{;} \boldsymbol{y})$ is maximized among $f:\{\pm 1\}^n o \{\pm 1\}$ by $f(x) = x_1$? We do not resolve this problem. Instead, we make a couple of observations about the fixed-mean version of the conjecture. We show that Courtade and Kumar's stronger Lex Conjecture fails for small noise rates. We also prove a continuous version of the conjecture on the sphere and show that it implies the previously-known analogue for Gaussian space.

研究动机与目标

• 解决高斯空间和球面上Courtade–Kumar猜想的连续类比。
• 在连续设定下，证明互信息$I(f({\boldsymbol{x}}); \boldsymbol{y})$由坐标函数$f(x) = \pm x_i$最大化。
• 通过从高维球面到高斯空间的极限过程，将离散猜想推广至连续域。
• 证明在连续设定下，噪声算子$\mathrm{T}_\rho f$的$\Phi$-熵由半空间指示函数最大化。

提出的方法

• 利用球面对称性和通过重排的对称化，将问题简化为球面上的半空间函数。
• 通过带权函数的径向延拓，构造布尔函数到球面$S^{N-1}_R$的扩展$f^{\mathrm{ext}}$。
• 定义一个广义布尔噪声算子$\mathrm{T}_\rho f$的球面噪声算子$Q_\rho f^{\mathrm{ext}}(u)$。
• 应用$N \to \infty$时的极限论证，从球面过渡到高斯空间，证明噪声算子和熵泛函的收敛性。
• 使用高斯噪声算子$U_\rho f(y)$，并证明球面$\Phi$-熵收敛至高斯$\Phi$-熵。
• 利用控制收敛定理和对核$U_{\rho,N}(y,z)$的界，证明极限可交换。

实验结果

研究问题

• RQ1 在连续高斯空间和球面设定下，互信息$I(f({\boldsymbol{x}}); \boldsymbol{y})$是否由坐标函数最大化？
• RQ2 能否通过从高维球面到高斯空间的极限过程，将离散的Courtade–Kumar猜想推广并解决？
• RQ3 在连续空间中，噪声算子$\mathrm{T}_\rho f$的$\Phi$-熵是否在半空间指示函数处达到最大值？
• RQ4 当维度$N \to \infty$时，球面噪声算子$Q_\rho f^{\mathrm{ext}}$如何收敛至高斯噪声算子$U_\rho f$？
• RQ5 球面到高斯空间的极限下，$\Phi$-熵泛函是否保持不变？

主要发现

• 连续类比的Courtade–Kumar猜想成立：对于$f: \mathbb{R}^n \to \{\pm 1\}$，当$f$为半空间指示函数时，互信息$I(f({\boldsymbol{x}}); \boldsymbol{y})$达到最大值。
• 球面噪声算子$Q_\rho f^{\mathrm{ext}}$的$\Phi$-熵上界由半空间扩展$\widetilde{f^{\mathrm{ext}}}$实现，且仅当函数为半空间函数时取等。
• 当$N \to \infty$时，球面噪声算子$Q_\rho f^{\mathrm{ext}}$收敛至高斯噪声算子$U_\rho f$，且$\Phi$-熵相应收敛。
• 球面$\Phi$-熵泛函的极限等于高斯$\Phi$-熵，从而证实了猜想的连续版本。
• 结果表明，在连续设定下最具有信息量的函数为坐标函数，与离散情形类似。
• 证明依赖于重排的对称化方法和从高维球面到高斯空间的严格极限论证。