[论文解读] Settling the Robust Learnability of Mixtures of Gaussians

Allen Liu, Ankur Moitra|arXiv (Cornell University)|Nov 6, 2020

Machine Learning and Algorithms参考文献 48被引用 6

一句话总结

该论文提出了首个在对抗性污染下可证明鲁棒且计算高效的高斯混合模型学习算法，适用于任意常数个高斯分量。它引入了一种通过生成函数的微分运算实现的维度无关多项式可识别性新方法，使得平方和松弛方法在混合权重和分量分离的弱假设下，能以高概率实现误差界按 $\epsilon^{g(k,A)}$ 缩放。

ABSTRACT

This work represents a natural coalescence of two important lines of work: learning mixtures of Gaussians and algorithmic robust statistics. In particular we give the first provably robust algorithm for learning mixtures of any constant number of Gaussians. We require only mild assumptions on the mixing weights (bounded fractionality) and that the total variation distance between components is bounded away from zero. At the heart of our algorithm is a new method for proving dimension-independent polynomial identifiability through applying a carefully chosen sequence of differential operations to certain generating functions that not only encode the parameters we would like to learn but also the system of polynomial equations we would like to solve. We show how the symbolic identities we derive can be directly used to analyze a natural sum-of-squares relaxation.

研究动机与目标

• 设计一种在最多 $\epsilon$ 比例样本受对抗性污染时，可证明鲁棒且计算高效的高斯混合模型学习算法。
• 克服先前方法在数据污染下失效或需强假设（如分量分离或混合权重有界分母）的局限性。
• 通过生成函数上的微分运算建立新的鲁棒可识别性框架，实现在维度无关条件下的参数恢复。
• 通过利用平方和松弛方法，即使分量几乎重叠，也能实现误差界在 $\epsilon$ 上多项式衰减。
• 通过消除对方差和混合权重的限制性假设，统一并改进鲁棒统计与混合学习的先前结果。

提出的方法

• 通过作用于编码混合参数及其定义多项式方程的生成函数的一系列微分算子，引入一种新型可识别性形式——'鲁棒可识别性'。
• 利用这些微分运算导出的符号恒等式，分析平方和松弛方法，确保其在污染条件下仍能捕捉真实混合结构。
• 应用平方和层次结构，对满足混合模型矩条件的样本大子集施加约束。
• 基于总变差距离设计聚类子程序，将过于接近的分量归为一组，随后将其视为单一分量，以确保剩余分量间具有足够分离度。
• 利用假设检验将输出缩减为单一候选混合模型，避免列表解码的同时保持高概率正确性。
• 建立样本复杂度界，其规模为 $ (d/\epsilon)^{G(k,A)} $，其中 $ G(k,A) $ 仅为分量数 $ k $ 和最小混合权重倒数 $ A $ 的函数。

实验结果

研究问题

• RQ1 我们能否设计一种可证明鲁棒且计算高效的高斯混合模型学习算法，且无需分量间保持强分离？
• RQ2 是否可能在分量几乎重叠的情况下，实现混合权重和分量参数误差界在 $\epsilon$ 上多项式衰减？
• RQ3 能否在保持鲁棒性与效率的同时，去除对混合权重有界分母（即有理数且分母有界）的假设？
• RQ4 如何通过生成函数上的符号运算实现混合模型中维度无关的可识别性？
• RQ5 能否将平方和框架与基于矩的可识别性统一，以构建具有最优样本复杂度的鲁棒学习算法？

主要发现

• 该算法在混合权重和真实分量的总变差距离上均实现 $\epsilon^{g(k,A)}$ 的误差界，其中 $g(k,A)$ 为仅依赖于 $k$ 和 $A$ 的正函数。
• 样本复杂度在 $d/\epsilon$ 上为多项式，具体为 $ (d/\epsilon)^{G(k,A)} $，其中 $G(k,A)$ 为仅依赖于 $k$ 和 $A$ 的充分大函数。
• 该算法运行时间为 $\text{poly}(n)$，且以至少 0.99 的概率成功，输出一组与真实参数在排列意义下 $\epsilon^{g(k,A)}$-接近的分量与权重。
• 通过采用基于尺度的合并策略，该方法消除了对分量间恒定分离度的需求，将接近的分量归并，确保剩余分量间具有足够分离度。
• 结合 [BDJ+20a] 中改进的聚类子程序与假设检验，该算法输出唯一混合模型而非列表，提升了实用性。
• 核心贡献是通过生成函数上的微分算子实现的新型鲁棒可识别性形式，使得在高维、污染环境下对平方和松弛的分析成为可能。