[论文解读] Outlier-robust moment-estimation via sum-of-squares

Pravesh K. Kothari, David Steurer|arXiv (Cornell University)|Nov 30, 2017

Blind Source Separation Techniques参考文献 2被引用 27

一句话总结

本文提出了一种基于平方和（sum-of-squares）的算法，用于在对抗性污染下对高维分布的低阶矩进行鲁棒估计。该算法在可证明子高斯分布下实现了信息论最优的误差界，相较于以往工作在通用性和精度上均有显著提升，并实现了具有强理论保证的鲁棒独立分量分析与高斯混合模型学习。

ABSTRACT

We develop efficient algorithms for estimating low-degree moments of unknown distributions in the presence of adversarial outliers. The guarantees of our algorithms improve in many cases significantly over the best previous ones, obtained in recent works of Diakonikolas et al, Lai et al, and Charikar et al. We also show that the guarantees of our algorithms match information-theoretic lower-bounds for the class of distributions we consider. These improved guarantees allow us to give improved algorithms for independent component analysis and learning mixtures of Gaussians in the presence of outliers. Our algorithms are based on a standard sum-of-squares relaxation of the following conceptually-simple optimization problem: Among all distributions whose moments are bounded in the same way as for the unknown distribution, find the one that is closest in statistical distance to the empirical distribution of the adversarially-corrupted sample.

研究动机与目标

• 设计计算高效的算法，用于在高达 ε 分数的样本受到对抗性污染时，估计未知分布的低阶矩。
• 通过放宽分布假设（如要求高斯性或有界协方差）来改进先前的鲁棒估计算法。
• 在可证明子高斯分布下，匹配估计误差的信息论下界，实现误差量级的最优性。
• 通过在污染下提供可靠的矩估计，使高维场景中的矩方法算法能够实现鲁棒应用。
• 通过将可识别性证明转化为高效算法，将平方和范式扩展至鲁棒参数估计。

提出的方法

• 该算法将矩估计表述为在伪分布上的凸优化问题，通过在矩约束下最小化与污染经验分布的统计距离。
• 它使用平方和松弛方法，以确保候选矩满足与未知分布真实矩相同的有界性性质。
• 该方法依赖于可证明的子高斯性：其矩满足由平方和证明可推导出的多项式不等式。
• 它采用伪期望框架来处理原始问题的非凸性，从而通过半定规划实现高效计算。
• 该算法通过构建低阶平方和证明来证明矩有界性，从而认证估计的矩接近真实矩。
• 该方法以黑箱方式应用，通过将鲁棒矩估计器的输出馈入非鲁棒的矩方法算法，将其转换为鲁棒版本。

实验结果

研究问题

• RQ1 我们能否设计出在对抗性污染下实现信息论最优误差率的鲁棒矩估计算法？
• RQ2 我们能否在保持鲁棒性和效率的同时，去除对强分布假设（如高斯性或有界谱范数）的要求？
• RQ3 平方和方法在多大程度上可用于系统性地从可识别性证明推导鲁棒估计器？
• RQ4 鲁棒矩估计的误差界如何随污染比例 ε 变化？能否匹配已知的下界？
• RQ5 鲁棒矩估计能否使高维问题（如 ICA 和高斯混合学习）的新鲁棒算法成为可能？

主要发现

• 所提出的算法在可证明子高斯分布下的估计误差与信息论下界一致，仅相差常数因子。
• 对于均值估计，误差量级为 Ω(√k ε^{1−1/k})，与通过构造仅在 k 阶矩上不同的两个分布所证明的下界一致。
• 对于协方差和更高阶矩，第二阶矩的误差量级为 Ω(k ε^{1−2/k})，2r 阶矩的误差量级为 Ω(k^r ε^{1−2r/k})，与引理 7.2 中的下界一致。
• 该算法适用于非高斯和非乘积分布，而以往方法需依赖此类假设。
• 该方法即使在底层变换条件数较差时，也能实现鲁棒的独立分量分析，这是以往方法失效的场景。
• 该算法对具有大量分量和非分离均值的球面高斯混合模型也实现了鲁棒性，克服了先前方法的局限性。