[论文解读] Near-optimal Sample Complexity Bounds for Robust Learning of Gaussians Mixtures via Compression Schemes

Hassan Ashtiani, Shai Ben-David+4 more|arXiv (Cornell University)|Oct 14, 2017

Machine Learning and Algorithms参考文献 49被引用 4

一句话总结

本文提出了一种基于压缩的新型框架用于分布学习，证明了具有小压缩方案的类别可实现高斯混合模型鲁棒学习的近最优样本复杂度。该文建立了通用高斯分布的样本复杂度为 $\tilde{\Theta}(kd^2/\epsilon^2)$，轴对齐高斯分布的样本复杂度为 $\tilde{O}(kd/\epsilon^2)$，与已知下界一致，并扩展至泛化（鲁棒）学习设置。

ABSTRACT

We prove that $ ildeΘ(k d^2 / \varepsilon^2)$ samples are necessary and sufficient for learning a mixture of $k$ Gaussians in $\mathbb{R}^d$, up to error $\varepsilon$ in total variation distance. This improves both the known upper bounds and lower bounds for this problem. For mixtures of axis-aligned Gaussians, we show that $ ilde{O}(k d / \varepsilon^2)$ samples suffice, matching a known lower bound. Moreover, these results hold in the agnostic-learning/robust-estimation setting as well, where the target distribution is only approximately a mixture of Gaussians. The upper bound is shown using a novel technique for distribution learning based on a notion of `compression.' Any class of distributions that allows such a compression scheme can also be learned with few samples. Moreover, if a class of distributions has such a compression scheme, then so do the classes of products and mixtures of those distributions. The core of our main result is showing that the class of Gaussians in $\mathbb{R}^d$ admits a small-sized compression scheme.

研究动机与目标

• 提出一种通用方法，利用样本压缩方案来界定分布学习中的样本复杂度。
• 为在总变差距离下学习 $k$ 个高斯分布的混合体，建立紧致且近最优的样本复杂度边界。
• 将结果扩展至泛化（鲁棒）学习设置，其中目标分布仅近似为高斯混合。
• 证明：若基础分布类具有压缩方案，则其乘积和混合体也具有压缩方案。
• 通过将样本复杂度与参数数量和压缩大小关联，解决关于混合类内在维度的开放问题。

提出的方法

• 提出一种新的分布样本压缩概念，即类中每个分布均可使用其样本的一个小子集进行编码。
• 证明：任何具有小压缩方案的类，其学习的样本复杂度与压缩大小成正比。
• 为 $d$ 维高斯分布类和轴对齐高斯分布类构造显式压缩方案，证明其存在性与大小。
• 利用压缩框架，通过压缩方案在混合操作下的封闭性质，推导出高斯混合体的样本复杂度上界。
• 应用集中与覆盖论证，界定从压缩样本估计目标分布时的误差。
• 通过证明压缩方案在总变差距离下蕴含鲁棒学习保证，将结果从可实现学习扩展至泛化学习。

实验结果

研究问题

• RQ1 能否使用基于压缩的框架推导出高斯混合模型学习的紧致样本复杂度边界？
• RQ2 在 $\mathbb{R}^d$ 中以 $\varepsilon$ 总变差距离学习 $k$ 个高斯混合体的最优样本复杂度是多少？
• RQ3 轴对齐高斯混合体的学习样本复杂度与一般高斯分布相比如何？是否可与已知下界匹配？
• RQ4 若某类分布具有压缩方案，是否意味着该类分布的混合体也具有小压缩方案？
• RQ5 学习某类分布的样本复杂度是否由其内在维度决定？能否通过压缩方法形式化这一关系？

主要发现

• 在 $\mathbb{R}^d$ 中学习 $k$ 个一般高斯分布混合体的样本复杂度为 $\tilde{\Theta}(kd^2/\varepsilon^2)$，其紧致性仅相差多对数因子。
• 对于轴对齐高斯混合体，样本复杂度为 $\tilde{O}(kd/\varepsilon^2)$，与已知下界一致。
• 结果在泛化（鲁棒）学习设置中依然成立，此时目标分布仅近似为高斯混合。
• $d$ 维高斯分布类具有小压缩方案，从而可推导出其混合体的紧致边界。
• 压缩方案在混合操作下是封闭的：若某类具有压缩方案，则其混合体与乘积也具有压缩方案。
• 该框架改进了先前的上下界，解决了高斯混合学习样本复杂度长期存在的差距问题。