[论文解读] Which Boolean Functions are Most Informative?

Gowtham Kumar, Thomas A. Courtade|arXiv (Cornell University)|Feb 11, 2013

Quantum Computing Algorithms and Architecture参考文献 7被引用 5

一句话总结

本文研究了布尔函数在二元对称信道中对噪声输入所能揭示的最大互信息。研究提出，对于独立同分布的伯努利(1/2)输入和交叉概率为α的二元对称信道，互信息I(b(Xⁿ);Yⁿ)的上界为1−H(α)，当b为恒等函数时取等。该猜想尚未被证明，但得到了关于字典序函数和条件熵最小化方面的证据支持。

ABSTRACT

We introduce a simply stated conjecture regarding the maximum mutual information a Boolean function can reveal about noisy inputs. Specifically, let $X^n$ be i.i.d. Bernoulli(1/2), and let $Y^n$ be the result of passing $X^n$ through a memoryless binary symmetric channel with crossover probability $α$. For any Boolean function $b:\{0,1\}^n ightarrow \{0,1\}$, we conjecture that $I(b(X^n);Y^n)\leq 1-H(α)$. While the conjecture remains open, we provide substantial evidence supporting its validity.

研究动机与目标

• 确定布尔函数b: {0,1}ⁿ → {0,1}，使得当Xⁿ为独立同分布的伯努利(1/2)分布，Yⁿ为交叉概率为α的无记忆二元对称信道输出时，互信息I(b(Xⁿ);Yⁿ)最大化。
• 研究互信息是否在所有布尔函数b的选择下均被1−H(α)统一上界限制。
• 探索布尔函数的结构特性，特别是字典序函数，这些特性可能使条件熵H(b(Xⁿ)|Yⁿ)最小化，从而最大化互信息。
• 通过傅里叶分析技术、熵最小化和函数Tₐ(p)的拟凹性论证，为该猜想提供证据。

提出的方法

• 提出一个改进的猜想：在|b⁻¹(0)|固定时，条件熵H(b(Xⁿ)|Yⁿ)在b为字典序函数（lex）时最小，即b按字典序将前|b⁻¹(0)|个元素映射为0。
• 提出对于字典序函数，有H(b(Xⁿ)|Yⁿ) ≥ H(b(Xⁿ))H(α)，这将意味着主猜想I(b(Xⁿ);Yⁿ) ≤ 1−H(α)。
• 通过递归构造定义Tₐ(p) = ℰ[H(b(Xⁿ)|Yⁿ)]，其中p = Pr{b(Xⁿ)=0}，并证明Tₐ(p)满足拟凹性性质。
• 采用二进分数插值论证，表明对于相邻的二进分数，有Tₐ(θp₋ + (1−θ)p₊) ≥ θTₐ(p₋) + (1−θ)Tₐ(p₊)，支持Tₐ(p)的类似凸性的行为。
• 利用f(x) = −x log x的凹性，通过条件概率的混合形式来界定条件熵，利用二元对称信道的结构。
• 提出一种算法化证明框架，通过构建Tₐ(p)的分段线性上界来验证任意给定α下的猜想3，这些上界需覆盖f(p)H(α)。

实验结果

研究问题

• RQ1 当b为恒等函数时，互信息I(b(Xⁿ);Yⁿ)是否在I(X₁;Yⁿ) = 1−H(α)时达到最大？
• RQ2 对于任何布尔函数b，即使其结构复杂，互信息I(b(Xⁿ);Yⁿ)是否可能超过1−H(α)？
• RQ3 对于固定的Pr{b(Xⁿ)=0}，字典序布尔函数是否最小化H(b(Xⁿ)|Yⁿ)？
• RQ4 函数Tₐ(p) = ℰ[H(b(Xⁿ)|Yⁿ)]在[0,1]区间内的二进分数上是否具有拟凹性，从而支持Tₐ(p) ≥ f(p)H(α)的猜想？
• RQ5 该猜想是否可推广至b与b′为不同布尔函数的情形，例如I(b(Xⁿ);b′(Yⁿ)) ≤ 1−H(α)？

主要发现

• 当b(Xⁿ) = X₁时，猜想I(b(Xⁿ);Yⁿ) ≤ 1−H(α)取等，表明该上界是紧的，且可由一个简单函数实现。
• 对于任意固定的|b⁻¹(0)|，当b为字典序函数时，条件熵H(b(Xⁿ)|Yⁿ)最小化，支持猜想2。
• 对于字典序函数，函数Tₐ(p) = ℰ[H(b(Xⁿ)|Yⁿ)]满足Tₐ((p₋ + p₊)/2) ≥ ½(Tₐ(p₋) + Tₐ(p₊))，其中p₋ = k/2ⁿ，p₊ = (k+1)/2ⁿ为相邻的二进分数，表明其具有某种形式的拟凹性。
• 当b为字典序函数时，不等式Tₐ(p) ≥ f(p)H(α)对所有p ∈ [0,1]成立，这将意味着猜想3成立，从而推出主猜想。
• 提出一种构造性算法，可通过构建Tₐ(p)的分段线性上界来验证任意给定α下的猜想3，这些上界需覆盖f(p)H(α)。
• 用于证明较弱边界∑ᵢ I(b(Xⁿ);Yᵢ) ≤ 1−H(α)的傅里叶分析方法无法建立更强的猜想I(b(Xⁿ);Yⁿ) ≤ 1−H(α)，表明需要新的技术。