[论文解读] Sparse Polynomial Learning and Graph Sketching

Murat Kocaoglu, Karthikeyan Shanmugam+2 more|arXiv (Cornell University)|Feb 17, 2014

Machine Learning and Algorithms参考文献 16被引用 6

一句话总结

该论文提出了一种多项式时间算法，可在唯一符号性质下精确重构最多具有 $ s $ 个非零系数的稀疏布尔多项式——当系数被扰动或全部为正时，该性质可被保证。该方法使用随机均匀样本，并应用图压缩技术从随机切割中学习稀疏超图，在 $ \mathrm{poly}(n, 2^s) $ 时间内以高概率实现精确恢复。

ABSTRACT

Let $f:\{-1,1\}^n$ be a polynomial with at most $s$ non-zero real coefficients. We give an algorithm for exactly reconstructing f given random examples from the uniform distribution on $\{-1,1\}^n$ that runs in time polynomial in $n$ and $2s$ and succeeds if the function satisfies the unique sign property: there is one output value which corresponds to a unique set of values of the participating parities. This sufficient condition is satisfied when every coefficient of f is perturbed by a small random noise, or satisfied with high probability when s parity functions are chosen randomly or when all the coefficients are positive. Learning sparse polynomials over the Boolean domain in time polynomial in $n$ and $2s$ is considered notoriously hard in the worst-case. Our result shows that the problem is tractable for almost all sparse polynomials. Then, we show an application of this result to hypergraph sketching which is the problem of learning a sparse (both in the number of hyperedges and the size of the hyperedges) hypergraph from uniformly drawn random cuts. We also provide experimental results on a real world dataset.

研究动机与目标

• 解决长期存在的开放问题：仅使用均匀分布下的随机样本，学习 $ \{-1,1\}^n $ 上的 $ s $-稀疏多项式。
• 识别使稀疏多项式学习变得可行的自然条件，从而克服最坏情况下的不可解性。
• 将学习框架应用于超图压缩——从随机切割中恢复稀疏超图。
• 在真实世界数据集（如 Yahoo! Messenger 消息）上展示该方法的有效性。

提出的方法

• 利用唯一符号性质：函数值可唯一确定其活跃奇偶函数的符号，从而实现高效重构。
• 从 $ \{-1,1\}^n $ 上的均匀分布中进行随机采样，避免对未知函数的查询访问。
• 从采样数据构建相关性矩阵 $ \mathbf{R} $，通过高内积值识别超边中变量的共现关系。
• 对 $ \mathbf{R} $ 进行阈值处理以检测相关变量与连通分量，随后与相关变量上的所有可能奇偶函数进行相关性分析。
• 应用浓度不等式（如 Hoeffding 不等式）以限制估计误差，确保高概率正确性。
• 通过线性测量将问题简化为压缩感知，但通过利用唯一符号性质带来的结构约束，避免了指数时间复杂度。

实验结果

研究问题

• RQ1 在仅使用随机样本的条件下，何时可实现以 $ n $ 和 $ 2^s $ 的多项式时间学习 $ s $-稀疏布尔多项式？
• RQ2 在实际中，唯一符号性质是否可被保证，例如在系数上施加小的独立同分布高斯扰动时？
• RQ3 如何从均匀随机切割中重构稀疏超图？其样本复杂度与时间复杂度是多少？
• RQ4 当目标函数近似稀疏时，该算法是否仍具有鲁棒性，特别是面对噪声的情况？

主要发现

• 该算法以高概率在 $ \mathrm{poly}(n, 2^s) $ 时间内学习任意满足唯一符号性质的 $ s $-稀疏多项式。
• 当系数受到小的独立同分布高斯噪声扰动时，唯一符号性质以概率 1 成立，从而支持平滑分析的成功。
• 在超图压缩中，该方法使用 $ O(2^k d \log n + 2^{2d+1} s^2 (\log n + k)) $ 个样本，从随机切割中恢复稀疏超图的结构，其中 $ k $ 为相关变量的数量。
• 运行时间为 $ O(n^2 d \log n + 2^{2k} d \log n + 2^k \cdot 2^{2d+1} s^2 (\log n + k)) $，且以高概率实现精确恢复。
• 该算法对噪声具有鲁棒性：当 $ f = f_1 + f_2 $ 且 $ \|f_2\|_1 \leq \nu $，同时加性噪声有界于 $ \epsilon $ 时，满足 $ \|f - g\|_2 \leq O(\nu + \epsilon) $。
• 在 Yahoo! Messenger 数据上的实证结果证实了该方法在真实世界稀疏超图结构上的有效性。