[论文解读] On the Fourier Entropy Influence Conjecture for Extremal Classes

Guy Shalev|arXiv (Cornell University)|Jun 10, 2018

Machine Learning and Algorithms参考文献 14被引用 3

一句话总结

本文证明了傅里叶熵-影响（FEI）猜想在布尔函数的极值类中的成立：即影响极低（$\mathbf{I}[f] \leq 2^{-cn}$）和谱熵极高（$\mathbf{H}[f] \geq cn$）的函数，为这些情形建立了通用常数 $C$。此外，本文还证明了 $\ell_1$-范数有界的傅里叶系数函数的 FEI，并将读-$k$ 决策树的界从 $O(k)\cdot\mathbf{I}[f]$ 改进为 $O(\sqrt{k})\cdot\mathbf{I}[f]$，同时提出了证明读-$k$ DNFs 的 FEI 的路径。

ABSTRACT

The Fourier Entropy-Influence (FEI) Conjecture of Friedgut and Kalai states that ${\bf H}[f] \leq C \cdot {\bf I}[f]$ holds for every Boolean function $f$, where ${\bf H}[f]$ denotes the spectral entropy of $f$, ${\bf I}[f]$ is its total influence, and $C > 0$ is a universal constant. Despite significant interest in the conjecture it has only been shown to hold for some classes of Boolean functions such as symmetric functions and read-once formulas. In this work, we prove the conjecture for extremal cases, functions with small influence and functions with high entropy. Specifically, we show that: * FEI holds for the class of functions with ${\bf I}[f] \leq 2^{-cn}$ with the constant $C = 4 \cdot \frac{c+1}{c}$. Furthermore, proving FEI for a class of functions with ${\bf I}[f] \leq 2^{-s(n)}$ for some $s(n) = o(n)$ will imply FEI for the class of all Boolean functions. * FEI holds for the class of functions with ${\bf H}[f] \geq cn$ with the constant $C = \frac{1 + c}{h^{-1}(c^2)}$. Furthermore, proving FEI for a class of functions with ${\bf H}[f] \geq s(n)$ for some $s(n) = o(n)$ will imply FEI for the class of all Boolean functions. Additionally, we show that FEI holds for the class of functions with constant $\|\widehat{f}\|_1$, completing the results of Chakhraborty et al. that bounded the entropy of such functions. We also improve the result of Wan et al. for read-k decision trees, from ${\bf H}[f] \leq O(k) \cdot {\bf I}[f]$ to ${\bf H}[f] \leq O(\sqrt{k}) \cdot {\bf I}[f]$. Finally, we suggest a direction for proving FEI for read-k DNFs, and prove the Fourier Min-Entropy/Influence (FMEI) Conjecture for regular read-k DNFs.

研究动机与目标

• 解决傅里叶熵-影响（FEI）猜想在布尔函数极值类中的问题，特别是那些影响最小或谱熵最大的函数。
• 改进针对结构化函数类（如读-$k$ 决策树和 $\ell_1$-傅里叶范数有界的函数）的谱熵与影响之间关系的现有界。
• 建立在稀疏或高熵子类上证明 FEI 时，可推出所有布尔函数的 FEI 成立的条件。
• 为决策树函数的傅里叶系数 $\ell_1$-范数提供一个新的结构界，改进先前的结果。

提出的方法

• 通过熵与影响之间的权衡，证明了总影响 $\mathbf{I}[f] \leq 2^{-cn}$ 的函数的 FEI，其中常数 $C = 4\cdot\frac{c+1}{c}$。
• 基于熵最小熵对偶性，证明了谱熵 $\mathbf{H}[f] \geq cn$ 的函数的 FEI，其中常数 $C = \frac{1+c}{h^{-1}(c^2)}$。
• 提出决策树中 $\|\widehat{f}\|_1$ 的新结构界：$\|\widehat{f}\|_1 \leq \text{boundary\textunderscore size}(T) - \sum_{v \in \text{inner}(T)} |\text{Cov}(g_v, h_v)|$，优于以往基于大小的界。
• 在决策树上应用结构归纳法，利用恒等式 $|a+b| + |a-b| = 2\max(|a|,|b|)$ 来关联父节点与子节点函数的傅里叶系数。
• 利用恒等式 $\|\widehat{f}\|_1 = \|\widehat{g}\|_1 + \|\widehat{h}\|_1 - \sum_S \min(|\widehat{g}(S)|, |\widehat{h}(S)|)$ 推导出改进的 $\ell_1$-范数界。
• 通过利用 FMEI 猜想和对称 DNF 的结构特性，提出证明正则读-$k$ DNF 的 FEI 的方向。

实验结果

研究问题

• RQ1 FEI 猜想是否对总影响指数级小的布尔函数成立？
• RQ2 能否为谱熵接近最大可能值的函数建立 FEI 猜想？
• RQ3 能否为读-$k$ 决策树导出谱熵与影响之间改进的界？
• RQ4 若证明了 $\|\widehat{f}\|_1$ 有界的函数的 FEI，是否意味着所有布尔函数的 FEI 成立？
• RQ5 能否利用决策树的 $\|\widehat{f}\|_1$ 结构界来证明更广泛类如读-$k$ DNF 的 FEI？

主要发现

• 对于满足 $\mathbf{I}[f] \leq 2^{-cn}$ 的函数，FEI 成立，且通用常数 $C = 4\cdot\frac{c+1}{c}$；若对满足 $s(n) = o(n)$ 的此类函数证明 FEI，则可推出所有布尔函数的 FEI 成立。
• 对于满足 $\mathbf{H}[f] \geq cn$ 的函数，FEI 成立，且 $C = \frac{1+c}{h^{-1}(c^2)}$；若对满足 $s(n) = o(n)$ 的此类函数证明 FEI，则可推出所有布尔函数的 FEI 成立。
• 本文证明了傅里叶系数 $\ell_1$-范数有界的布尔函数类的 FEI，完成了 [CKLS16] 的结果。
• 读-$k$ 决策树的界从 $\mathbf{H}[f] \leq O(k)\cdot\mathbf{I}[f]$ 改进为 $\mathbf{H}[f] \leq O(\sqrt{k})\cdot\mathbf{I}[f]$。
• 建立了决策树中 $\|\widehat{f}\|_1$ 的新结构界：$\|\widehat{f}\|_1 \leq \text{boundary\textunderscore size}(T) - \sum_{v \in \text{inner}(T)} |\text{Cov}(g_v, h_v)|$，该界对奇偶函数和地址函数是紧的。
• 正则读-$k$ DNF 的傅里叶最小熵/影响（FMEI）猜想已证明，提示了证明该类 FEI 的路径。