[论文解读] Robust Sparse Estimation Tasks in High Dimensions

Jerry Li|arXiv (Cornell University)|Feb 20, 2017

Sparse and Compressive Sensing Techniques参考文献 23被引用 17

一句话总结

本文提出了高维下对抗性污染下鲁棒稀疏均值估计与鲁棒稀疏PCA的首个高效算法，实现了维度 $d$ 上的次线性样本复杂度，且误差界与信息论最优值仅相差 $\sqrt{\log 1/\varepsilon}$ 因子。该工作揭示了在噪声存在下新的计算-统计差距，与无污染情形下的稀疏PCA中观察到的差距相一致。

ABSTRACT

In this paper we initiate the study of whether or not sparse estimation tasks can be performed efficiently in high dimensions, in the robust setting where an $\eps$-fraction of samples are corrupted adversarially. We study the natural robust version of two classical sparse estimation problems, namely, sparse mean estimation and sparse PCA in the spiked covariance model. For both of these problems, we provide the first efficient algorithms that provide non-trivial error guarantees in the presence of noise, using only a number of samples which is similar to the number required for these problems without noise. In particular, our sample complexities are sublinear in the ambient dimension $d$. Our work also suggests evidence for new computational-vs-statistical gaps for these problems (similar to those for sparse PCA without noise) which only arise in the presence of noise.

研究动机与目标

• 探究高维稀疏估计的统计优势在对抗性污染下是否依然成立。
• 解决经典稀疏估计算法在受污染样本导致模型误设时的脆弱性问题。
• 开发保持维度 $d$ 上次线性样本复杂度的高效鲁棒稀疏均值估计与鲁棒稀疏PCA算法。
• 探索在噪声存在下特异性出现的新计算-统计差距。
• 建立鲁棒稀疏均值估计的样本复杂度理论极限，揭示出 $k^2$ 与 $k$ 之间的差距。

提出的方法

• 提出一种基于截断经验均值与稀疏方差检测结合的异常值检测机制，实现高效鲁棒稀疏均值估计算法。
• 基于脊型协方差模型构建鲁棒PCA框架，利用谱方法与矩阵扰动理论处理污染样本。
• 采用分块矩阵分解与矩阵范数分析，界定向量投影矩阵的真实值与估计值之间的差异。
• 通过秩-2矩阵逼近论证，将投影矩阵差异的谱范数与弗罗贝尼乌斯范数关联起来。
• 提出对对数似然函数的海森矩阵在污染存在下的新颖分析，将其与高方差稀疏方向的检测联系起来。
• 采用基于反证法的证明策略，结合海森矩阵的半正定性与矩阵块的有界性，推导出误差保证。

实验结果

研究问题

• RQ1 当部分样本 $\varepsilon$ 被对抗性污染时，稀疏均值估计的高效算法是否仍能保持其性能保证？
• RQ2 在稀疏PCA中观察到的计算-统计差距是否同样出现在鲁棒稀疏均值估计中？
• RQ3 鲁棒稀疏均值估计的样本复杂度 $\widetilde{O}(k^2 \log d / \varepsilon^2)$ 是否为必要条件，还是可进一步优化？
• RQ4 在高维对抗性污染下，能否高效求解鲁棒稀疏PCA并实现次线性样本复杂度？
• RQ5 在模型误设下，鲁棒稀疏估计中计算效率与统计精度之间的根本权衡是什么？

主要发现

• 所提出的鲁棒稀疏均值估计算法实现了 $\ell_2$ 误差界为 $O(\varepsilon \sqrt{\log 1/\varepsilon})$，对任意高效SQ算法而言该界紧致，仅相差 $\sqrt{1/\varepsilon}$ 因子。
• 在假设存在 $k^2$ 与 $k$ 之间差距的前提下，证明了 $\widetilde{O}(k^2 \log d / \varepsilon^2)$ 的样本复杂度对高效算法是必要的。
• 误差界与信息论最优值相差 $\sqrt\log 1/\varepsilon$ 因子，表明鲁棒稀疏估计中存在根本性权衡。
• 在噪声存在下出现新的计算-统计差距，与稀疏PCA中的情况类似，而在无噪声情形下该差距并不存在。
• 分析证明了真实与估计投影矩阵差异的弗罗贝尼乌斯范数被有界于 $O(\gamma)$，意味着稀疏子空间可稳定恢复。
• 研究表明，在鲁棒稀疏均值估计中检测异常值需要解决与稀疏PCA相同计算难度的问题，原因在于需检测高方差的稀疏方向。