[论文解读] Resilience: A Criterion for Learning in the Presence of Arbitrary Outliers

Jacob Steinhardt, Moses Charikar+1 more|arXiv (Cornell University)|Mar 15, 2017

Machine Learning and Algorithms参考文献 15被引用 17

一句话总结

本文引入了鲁棒性作为高维数据中任意异常值下鲁棒学习的一般准则。研究表明，若数据集具有鲁棒性——即任意大子集的均值均接近整体均值——则即使高达常数比例的数据被对抗性污染，仍可实现对均值等参数的准确估计。关键贡献在于提出了一套新的理论框架，可在最小假设下实现维度无关的鲁棒估计，其应用涵盖均值估计、分布学习以及随机块模型。

ABSTRACT

We introduce a criterion, resilience, which allows properties of a dataset (such as its mean or best low rank approximation) to be robustly computed, even in the presence of a large fraction of arbitrary additional data. Resilience is a weaker condition than most other properties considered so far in the literature, and yet enables robust estimation in a broader variety of settings. We provide new information-theoretic results on robust distribution learning, robust estimation of stochastic block models, and robust mean estimation under bounded $k$th moments. We also provide new algorithmic results on robust distribution learning, as well as robust mean estimation in $\ell_p$-norms. Among our proof techniques is a method for pruning a high-dimensional distribution with bounded $1$st moments to a stable "core" with bounded $2$nd moments, which may be of independent interest.

研究动机与目标

• 提出一个通用且简单的准则，以保证在存在对抗性异常值的高维设置下实现鲁棒估计。
• 为具有有界k阶矩、离散分布以及随机块模型的分布的鲁棒学习提供信息论界限。
• 开发在ℓp-范数下鲁棒均值估计和在鲁棒性条件下离散分布学习的高效算法。
• 通过剪枝技术建立鲁棒性与具有有界方差的稳定核心存在性之间的联系。
• 通过引入弱于以往假设但适用范围更广的条件，统一并推广先前关于鲁棒估计的研究成果。

提出的方法

• 将鲁棒性定义为数据集的一种性质，即任意大子集的均值与整体均值接近，通过子集偏差的范数有界性来形式化。
• 利用极小极大对偶性和Khintchine不等式，证明具有有界一阶矩的鲁棒集合包含一个具有有界二阶矩的核心。
• 利用范数的强凸性，确保存在一个具有有界方差的大规模核心，从而支持算法应用。
• 应用核心提取技术，推导出在ℓp-范数下鲁棒均值估计和离散分布学习的高效算法。
• 使用幂提升技术迭代增强鲁棒性，使得即使初始数据仅有有界一阶矩，也能实现鲁棒性。
• 证明鲁棒性意味着对对抗性污染具有鲁棒性，且在温和条件下误差界与维度无关。

实验结果

研究问题

• RQ1 能否提出一个通用且简单的准则，以保证在具有任意异常值的高维数据中实现均值的鲁棒估计？
• RQ2 在何种条件下，即使数据具有重尾或高维结构，也能实现与维度无关的鲁棒均值估计？
• RQ3 如何将具有有界一阶矩的数据集转化为具有有界方差的稳定核心，以支持高效算法？
• RQ4 鲁棒性与现有鲁棒性准则（如有界矩或次高斯尾部）之间存在何种关系？
• RQ5 鲁棒性能否用于推导离散分布和随机块模型鲁棒学习的高效算法？

主要发现

• 鲁棒性比有界k阶矩或次高斯性条件更弱，但可在更广泛条件下实现鲁棒估计。
• 对于任意在范数下具有有界一阶矩的集合，若该范数为γ-强凸，则存在一个大小至少为原集合一半的核心，其方差有界于32σ²/γ。
• 当底层分布具有鲁棒性时，ℓp-范数下的鲁棒均值估计误差为O(ε)，且与维度无关。
• 本文证明了鲁棒性意味着存在具有有界二阶矩的稳定核心，从而支持算法应用。
• 对于离散分布，在鲁棒性条件下可实现高效多项式时间的鲁棒学习算法。
• 该框架为随机块模型和具有有界k阶矩的分布的鲁棒学习提供了新的信息论界限。