[论文解读] Quantum Entropy Scoring for Fast Robust Mean Estimation and Improved Outlier Detection

Yihe Dong, Samuel B. Hopkins+1 more|arXiv (Cornell University)|Jun 26, 2019

Fault Detection and Control Systems参考文献 25被引用 33

一句话总结

通过量子熵正则化引入 QUE 评分，以实现近线性时间鲁棒均值估计和高维离群检测的有效性，并提供理论保证与经验验证。

ABSTRACT

We study two problems in high-dimensional robust statistics: \emph{robust mean estimation} and \emph{outlier detection}. In robust mean estimation the goal is to estimate the mean $μ$ of a distribution on $\mathbb{R}^d$ given $n$ independent samples, an $\varepsilon$-fraction of which have been corrupted by a malicious adversary. In outlier detection the goal is to assign an \emph{outlier score} to each element of a data set such that elements more likely to be outliers are assigned higher scores. Our algorithms for both problems are based on a new outlier scoring method we call QUE-scoring based on \emph{quantum entropy regularization}. For robust mean estimation, this yields the first algorithm with optimal error rates and nearly-linear running time $\widetilde{O}(nd)$ in all parameters, improving on the previous fastest running time $\widetilde{O}(\min(nd/\varepsilon^6, nd^2))$. For outlier detection, we evaluate the performance of QUE-scoring via extensive experiments on synthetic and real data, and demonstrate that it often performs better than previously proposed algorithms. Code for these experiments is available at https://github.com/twistedcubic/que-outlier-detection .

研究动机与目标

• 在对抗性污染下推动高维场景中的鲁棒均值估计与离群检测。
• 基于量子熵正则化开发基于 QUE 评分以识别离群值的影响方向。
• 在有界协方差和子高斯（sub-Gaussian）情形下实现近线性时间的鲁棒均值估计算法。
• 提供经验证的离群检测方法，利用 QUE 评分与谱信息。

提出的方法

• 定义 QUE 评分，形式为 U = exp(alpha * \u0003b1overSigma) / tr exp(alpha * \u0003b1overSigma)，其中 overSigma 是经验协方差，alpha 是调参。
• 将 QUE 整合进矩阵乘法权重框架，以迭代性地下调可疑离群点。
• 使用 DecreaseSpectralNorm 子程序在 O(log d) 轮内降低加权协方差的谱范数。
• 提供两种算法变体：QUEScoreFilter（用于有界协方差）和 s.g.-QUEScoreFilter（用于子高斯分布）。
• 证明基于 QUE 的评分在考虑多个大特征方向时优于简单的谱分数。
• 通过避免显式矩阵表示而使用低秩草图，展示近线性运行时间。

实验结果

研究问题

• RQ1 QUE-评分在高维数据中对具异质离群方向的检测是否更有效？
• RQ2 在有界协方差和子高斯假设下，鲁棒均值估计是否能实现近最优误差与近线性时间？
• RQ3 在实践中，QUE 评分与现有基线（基于范数、Top-特征向量谱、局部方法等）相比有何差异？
• RQ4 熵正则化参数 alpha 对性能的影响是什么？

主要发现

• QUE 评分在有界协方差下实现近线性时间的鲁棒均值估计，误差界为 ϵ 3?sqrt(epsilon) + ~sqrt(d/n)。
• 子高斯情形在高概率下实现 ϵ sqrt(log(1/epsilon)) + sqrt(d/n) 的误差界。
• 基于 QUE 的离群评分在高维实验中通常优于基于PCA的、基于距离的和其他基线方法。
• 在合成数据、词嵌入和 CIFAR-10 数据上的实验显示 QUE 在多种设置下提升了 ROCAUC。
• 一种实用实现通过 Johnson-Lindenstrauss 草图和矩阵指数近似，在近线性时间内计算近似 QUE 分数。