[论文解读] On the entropy of a noisy function

Alex Samorodnitsky|arXiv (Cornell University)|Aug 6, 2015

Mathematical Approximation and Integration参考文献 8被引用 8

一句话总结

本文建立了布尔立方体上噪声函数熵的新上界，表明 $ T_{\rho}f $ 的熵受大小约为 $ (1-2\rho)^2 n $ 的子集上 $ f $ 的条件期望的平均熵控制。关键结果强化了夫人格伯引理，并证明了在高噪声水平 $ \rho \geq 1/2 - \delta $ 下的Courtade-Kumar猜想，即 $ I(f(X);Y) \leq 1 - H_2(\rho) $ 对子立方体特征函数取等。

ABSTRACT

Let $0 < ε< 1/2$ be a noise parameter, and let $T_ε$ be the noise operator acting on functions on the boolean cube $\{0,1\}^n$. Let $f$ be a nonnegative function on $\{0,1\}^n$. We upper bound the entropy of $T_ε f$ by the average entropy of conditional expectations of $f$, given sets of roughly $(1-2ε)^2 \cdot n$ variables. In information-theoretic terms, we prove the following strengthening of "Mrs. Gerber's lemma": Let $X$ be a random binary vector of length $n$, and let $Z$ be a noise vector, corresponding to a binary symmetric channel with crossover probability $ε$. Then, setting $v = (1-2ε)^2 \cdot n$, we have (up to lower-order terms): $$ H\Big(X \oplus Z\Big) \ge n \cdot H\left(ε~+~ (1-2ε) \cdot H^{-1}\left(\frac{{\mathbb E}_{|B| = v} H\Big(\{X_i\}_{i\in B}\Big)}{v} ight) ight) $$ As an application, we show that for a boolean function $f$, which is close to a characteristic function $g$ of a subcube of dimension $n-1$, the entropy of $T_ε f$ is at most that of $T_ε g$. This, combined with a recent result of Ordentlich, Shayevitz, and Weinstein shows that the "Most informative boolean function" conjecture of Courtade and Kumar holds for high noise $ε\ge 1/2 - δ$, for some absolute constant $δ> 0$. Namely, if $X$ is uniformly distributed in $\{0,1\}^n$ and $Y$ is obtained by flipping each coordinate of $X$ independently with probability $ε$, then, provided $ε\ge 1/2 - δ$, for any boolean function $f$ holds $I\Big(f(X);Y\Big) \le 1 - H(ε)$.

研究动机与目标

• 理解噪声如何影响布尔立方体上非负函数的熵，特别是在信息论稳定性背景下。
• 通过将噪声函数的熵与较小变量集上其条件期望的平均熵关联，强化夫人格伯引理。
• 在高噪声水平 $ \rho \geq 1/2 - \delta $ 下，确立Courtade-Kumar猜想关于最信息性布尔函数的有效性。
• 表明 $ (n-1) $-维子立方体的特征函数在噪声下具有最大稳定性，即最小化熵损失。

提出的方法

• 使用大小约为 $ (1-2\epsilon)^2 n $ 的子集上 $ f $ 的条件期望的平均熵，推导出 $ \text{Ent}(T_{\epsilon}f) $ 的新上界。
• 应用由Jendrej、Oleszkiewicz和Wojtaszczyk提出的Friedgut-Kalai-Naor定理的强化版本，以控制低次傅里叶系数的影响。
• 使用二元熵函数的二阶泰勒展开，以界定熵差 $ 1 - H_2\left(\frac{1-x}{2}\right) \leq \frac{1}{2\ln 2}x^2 + \left(1 - \frac{1}{2\ln 2}\right)x^4 $。
• 使用切比雪夫不等式控制 $ T_{\epsilon}f_0 $ 的尾部行为，确保其以高概率远离零。
• 将 $ \text{Ent}(T_{\epsilon}f) $ 分解为三项：$ T_{\epsilon}f_0 $ 的熵，以及 $ T_{\epsilon}f_1 $ 的二阶和四阶矩，分别通过傅里叶分析和矩估计进行有界。
• 将熵界与Ordentlich、Shayevitz和Weinstein的近期结果结合，表明在影响或傅里叶结构上接近 $ (n-1) $-维子立方体的函数，其熵损失不会超过子立方体特征函数的熵损失。

实验结果

研究问题

• RQ1 噪声算子如何影响布尔立方体上非负函数的熵？
• RQ2 夫人格伯引理能否被强化，以将噪声函数的熵与其中条件期望的平均熵关联起来？
• RQ3 在高噪声水平 $ \rho \geq 1/2 - \delta $ 下，Courtade-Kumar猜想是否成立，即 $ I(f(X);Y) \leq 1 - H_2(\rho) $？
• RQ4 $ (n-1) $-维子立方体的特征函数是否在噪声下具有最大稳定性，即是否最小化熵损失？
• RQ5 何种条件可确保一个布尔函数的熵损失与子立方体特征函数相近时，该函数必须接近此类函数？

主要发现

• $ T_{\epsilon}f $ 的熵受大小约为 $ (1-2\epsilon)^2 n $ 的子集上 $ f $ 的条件期望的平均熵控制，从而强化了夫人格伯引理。
• 当 $ \epsilon \geq 1/2 - \delta $ 时，$ T_{\epsilon}f $ 的熵至多为 $ T_{\epsilon}g $ 的熵，其中 $ g $ 是 $ (n-1) $-维子立方体的特征函数。
• 在高噪声下，Courtade-Kumar猜想成立：$ I(f(X);Y) \leq 1 - H_2(\epsilon) $，当 $ f $ 是 $ (n-1) $-维子立方体的特征函数时取等。
• 在影响或傅里叶结构上接近 $ (n-1) $-维子立方体的函数，其在噪声下的熵损失不会超过子立方体特征函数的熵损失。
• $ \text{Ent}(T_{\epsilon}f) $ 的界通过二元熵函数的二阶泰勒展开及傅里叶分析的矩估计推导得出。
• 该结果依赖于Friedgut-Kalai-Naor定理的强版本以及Ordentlich、Shayevitz和Weinstein的近期稳定性结果，以弥合近似最大化者与精确最大化者之间的差距。