[论文解读] Noisy population recovery in polynomial time

Anindya De, Michael Saks+1 more|arXiv (Cornell University)|Feb 24, 2016

Machine Learning and Algorithms参考文献 2被引用 7

一句话总结

本文提出了一种多项式时间算法用于噪声群体恢复，实现了在任意 $\mu > 0$ 条件下，样本复杂度关于 $k$、$n$ 和 $1/\varepsilon$ 的多项式界，优于先前最优的 $\mathsf{poly}(k^{\log\log k}, n, 1/\varepsilon)$ 边界。该方法结合了噪声衰减的莫比乌斯反演与鲁棒的局部逆构造，实现了从噪声样本中高效恢复有界支撑的分布。

ABSTRACT

In the noisy population recovery problem of Dvir et al., the goal is to learn an unknown distribution $f$ on binary strings of length $n$ from noisy samples. For some parameter $μ\in [0,1]$, a noisy sample is generated by flipping each coordinate of a sample from $f$ independently with probability $(1-μ)/2$. We assume an upper bound $k$ on the size of the support of the distribution, and the goal is to estimate the probability of any string to within some given error $\varepsilon$. It is known that the algorithmic complexity and sample complexity of this problem are polynomially related to each other. We show that for $μ> 0$, the sample complexity (and hence the algorithmic complexity) is bounded by a polynomial in $k$, $n$ and $1/\varepsilon$ improving upon the previous best result of $\mathsf{poly}(k^{\log\log k},n,1/\varepsilon)$ due to Lovett and Zhang. Our proof combines ideas from Lovett and Zhang with a \emph{noise attenuated} version of Möbius inversion. In turn, the latter crucially uses the construction of \emph{robust local inverse} due to Moitra and Saks.

研究动机与目标

• 解决在比特翻转噪声参数 $\mu > 0$ 下的噪声群体恢复问题。
• 降低从噪声样本中恢复有界支撑大小 $k$ 的分布的样本复杂度与算法复杂度。
• 在 $k$、$n$ 和 $1/\varepsilon$ 上实现多项式时间解法，优于先前的 $\mathsf{poly}(k^{\log\log k}, n, 1/\varepsilon)$ 边界。
• 建立算法复杂度与样本复杂度之间的多项式关系，重点在于对样本复杂度的上界控制。

提出的方法

• 引入噪声衰减版本的莫比乌斯反演，以处理恢复过程中噪声的影响。
• 利用 Moitra 和 Saks 提出的鲁棒局部逆构造，即使在存在噪声的情况下也能准确地对噪声变换进行反演。
• 定义一族函数 $\mathsf{AND}_{\delta,z}$，其在集合 $C^\downarrow$ 的向下闭包上具有紧致支撑，并且其傅里叶谱的 $L_1$-范数受控。
• 使用矩阵 $A_{\mu,r}$ 建模受噪声影响的傅里叶系数，并应用定理 1.2 找到向量 $v$，使得 $A_{\mu,r} \cdot v \approx e_0$，从而确保恢复函数 $\ell$ 满足 $\ell(0) \approx 1$ 且对所有 $x \neq 0$ 有 $|\ell(x)| \ll 1$。
• 通过 $\ell_\infty$-范数 $v$ 与 $C^\downarrow$ 的稀疏性，对恢复函数 $\ell$ 的傅里叶变换的 $L_1$-范数进行上界估计，确保恢复误差在 $\varepsilon$ 以内。
• 构造恢复函数 $\ell(y) = \sum_{z \in C^\downarrow} v_{|z|} \delta^{|z|} \mathsf{AND}_{\delta,z}(y)$，该函数作为对偶函数，用于从噪声样本中重构原始分布。

实验结果

研究问题

• RQ1 对于任意 $\mu > 0$，是否可以将噪声群体恢复的样本复杂度界为 $k$、$n$ 和 $1/\varepsilon$ 的多项式？
• RQ2 是否能够实现一种多项式时间算法，其在噪声群体恢复中的复杂度优于 Lovett 和 Zhang 的 $\mathsf{poly}(k^{\log\log k}, n, 1/\varepsilon)$ 边界？
• RQ3 如何构造噪声衰减的莫比乌斯反演，以在比特翻转噪声参数 $\mu > 0$ 的情况下保证鲁棒性？
• RQ4 恢复函数的傅里叶谱的 $L_1$-范数与恢复过程的算法复杂度之间存在何种关系？
• RQ5 鲁棒局部逆技术是否可以扩展至噪声不仅限于丢失比特，而是包含比特翻转的情形？

主要发现

• 噪声群体恢复的样本复杂度被界为 $\mathsf{poly}((k/\varepsilon)^{O_\mu(1)}, n)$，其中 $O_\mu(1) = \tilde{O}(1/\mu^4)$，对任意 $\mu > 0$ 成立。
• 该算法在 $k$、$n$ 和 $1/\varepsilon$ 上实现了多项式时间解法，是首个对任意 $\mu < 1$ 实现此结果的工作。
• 恢复函数 $\ell$ 的傅里叶谱的 $L_1$-范数被界为 $k^2 \cdot \|v\|_\infty \cdot (1 + 2\delta)^r$，其中 $\|v\|_\infty \leq (2/\eta)^{(1/\delta) \log(2/\delta)}$。
• 恢复函数 $\ell$ 满足 $\ell(0) = 1$ 且对所有 $x \in C^\downarrow \setminus \{0\}$ 有 $|\ell(x)| \leq \eta$，从而确保非零概率的准确重构。
• $\mathsf{AND}_{\delta,z}$ 的构造确保 $\|\widehat{\mathsf{AND}_{\delta,z}}\|_{L_1} \leq k \cdot (1 + \delta)^{r - |z|}$，从而控制了恢复核的谱范数。
• 对 $\widehat{\ell}$ 的 $L_1$-范数的最终界确保了恢复误差在 $\varepsilon$ 以内，达到了所需的精度。