[论文解读] Robust covariance estimation under $L_4-L_2$ norm equivalence

Mendelson Shahar, Zhivotovskiy Nikita|arXiv (Cornell University)|Sep 27, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用 9

一句话总结

本文在 $L_4$-$L_2$ 范数等价性假设（即峰度有界）下提出了一种鲁棒协方差估计器，实现了与高斯情形相当的最优性能。它提供了依赖于有效秩 $\mathbf{r}(\Sigma)$ 而非维度 $d$ 的高概率界，从而在次高斯和峰度有界情形下超越了现有最先进结果。

ABSTRACT

Let $X$ be a centered random vector taking values in $\mathbb{R}^d$ and let $Σ= \mathbb{E}(X\otimes X)$ be its covariance matrix. We show that if $X$ satisfies an $L_4-L_2$ norm equivalence, there is a covariance estimator $\hatΣ$ that exhibits the optimal performance one would expect had $X$ been a gaussian vector. The procedure also improves the current state-of-the-art regarding high probability bounds in the subgaussian case (sharp results were only known in expectation or with constant probability). In both scenarios the new bound does not depend explicitly on the dimension $d$, but rather on the effective rank of the covariance matrix $Σ$.

研究动机与目标

• 在 $L_4$-$L_2$ 范数等价性（峰度有界）假设下，开发一种能实现最优性能的协方差估计器。
• 改进次高斯情形下协方差估计的高概率偏差界，超越以往仅在期望意义下或以常数概率下成立的紧致结果。
• 用有效秩 $\mathbf{r}(\Sigma)$ 取代对维度 $d$ 的显式依赖，以更准确地反映内在维度。
• 证明经验均值估计器在高置信度情形下表现次优，并提出更优的替代方案。

提出的方法

• 该方法通过定义 $W = X \otimes X$ 将协方差估计转化为向量均值估计问题，使得 $\mathbb{E}[W] = \Sigma$，并在此基础上对 $W_i = X_i \otimes X_i$ 应用鲁棒均值估计。
• 提出一种基于分位数中位数的估计器用于 $\mathbb{E}[W]$，该估计器在无需次高斯尾部假设下即可实现次高斯型集中性。
• 分析中利用了 $L_4$-$L_2$ 范数等价性来控制二次型的四阶矩，从而实现更紧致的尾部界。
• 推导出与 $\sqrt{\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)/N}$ 和 $\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)/({\rm Tr}(\Sigma)N)$ 成比例的高概率界，避免了对 $d$ 的显式依赖。
• 在峰度有界假设下，证明该估计器达到了最小最大最优率（对数因子内）。
• 简要提出另一种基于球面上网覆盖的估计器，其界依赖于 $d$，但避免了对 $\mathrm{Tr}(\Sigma)$ 或 $L$ 的依赖。

实验结果

研究问题

• RQ1 在 $L_4$-$L_2$ 范数等价性假设下，是否能构造出协方差估计器，使其高概率偏差界达到最优，与高斯向量的预期性能相当？
• RQ2 在高置信度情形下，经验协方差估计器是否仍为最优，抑或可构造出更优的替代方案？
• RQ3 能否将高概率界表示为有效秩 $\mathbf{r}(\Sigma)$ 的函数，而非环境维度 $d$ 的函数？
• RQ4 在次高斯或峰度有界情形下，有效秩与算子范数之间的差距如何？该差距对估计性能有何影响？
• RQ5 是否存在一种鲁棒估计器，可避免对 $\mathrm{Tr}(\Sigma)$ 或 $L$ 的依赖，同时保持最优率？

主要发现

• 在 $L_4$-$L_2$ 范数等价性下，所提估计器实现了高概率界 $\|\Sigma\| \left( \sqrt{\frac{\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)}{N}} + \frac{\mathbf{r}(\Sigma) \log \mathbf{r}(\Sigma)}{{\rm Tr}(\Sigma) N} \right)$，其最优性仅差对数因子。
• 该界不显式依赖于维度 $d$，而仅依赖于有效秩 $\mathbf{r}(\Sigma)$，在高维情形下更具信息量。
• 对于次高斯向量，新界改进了现有结果，实现了此前仅在期望或常数置信度下成立的紧致高概率性能。
• 经验均值估计器在高置信度情形下表现次优，通过反例表明 $R_X \ll \|\Sigma\|$ 的情形存在。
• 论文证明了 $R_X \geq \sqrt{\frac{\mathbf{r}(\Sigma) - 1}{d}} \|\Sigma\|$，表明 $R_X$ 与 $\|\Sigma\|$ 之间的差距可能很大，从而证明了改进估计器的必要性。
• 基于网覆盖的替代估计器实现了 $\|\Sigma\| \sqrt{\frac{d + \log(1/\delta)}{N}}$ 量级的界，该界依赖于 $d$，但无需依赖 $\mathrm{Tr}(\Sigma)$ 或 $L$。