[论文解读] User-Friendly Covariance Estimation for Heavy-Tailed Distributions

Yuan Ke, Stanislav Minsker+3 more|arXiv (Cornell University)|Nov 5, 2018

Statistical Distribution Estimation and Applications参考文献 27被引用 8

一句话总结

本文提出了一种用户友好的、尾部鲁棒的协方差估计器，用于重尾分布，通过逐元素和谱级截断，以及对应的M-估计器方法，实现偏差-鲁棒性权衡的最优。关键贡献在于数据驱动的调参校准，确保在弱矩假设下具有非渐近偏差界，从而在高维重尾数据设置下实现可靠的推断。

ABSTRACT

We offer a survey of recent results on covariance estimation for heavy-tailed distributions. By unifying ideas scattered in the literature, we propose user-friendly methods that facilitate practical implementation. Specifically, we introduce element-wise and spectrum-wise truncation operators, as well as their $M$-estimator counterparts, to robustify the sample covariance matrix. Different from the classical notion of robustness that is characterized by the breakdown property, we focus on the tail robustness which is evidenced by the connection between nonasymptotic deviation and confidence level. The key observation is that the estimators needs to adapt to the sample size, dimensionality of the data and the noise level to achieve optimal tradeoff between bias and robustness. Furthermore, to facilitate their practical use, we propose data-driven procedures that automatically calibrate the tuning parameters. We demonstrate their applications to a series of structured models in high dimensions, including the bandable and low-rank covariance matrices and sparse precision matrices. Numerical studies lend strong support to the proposed methods.

研究动机与目标

• 开发在重尾分布下仍保持强有限样本性能的鲁棒协方差估计器，以应对经典方法因非高斯尾部而失效的问题。
• 将文献中零散的思路统一为一个连贯的框架，便于鲁棒协方差估计的实际实施。
• 引入逐元素和谱级截断算子及其M-估计器变体，使其能自适应样本大小、维度和噪声水平。
• 建立反映尾部鲁棒性的非渐近偏差界，其定义基于置信水平与偏差概率之间的相互作用。
• 提出数据驱动的调参校准方案，实现自动、用户友好的实施，无需专家输入。

提出的方法

• 提出逐元素和谱级截断算子，通过限制极端特征值和元素来增强样本协方差矩阵的鲁棒性。
• 引入截断算子的M-估计器对应形式，以在弱矩假设下增强鲁棒性。
• 推导出非渐近偏差界，量化尾部鲁棒性，通过自适应调参展示偏差与鲁棒性之间的最优权衡。
• 利用依赖于样本大小、维度和噪声水平的数据驱动程序校准调参，确保实际可用性。
• 将该框架应用于结构化模型，包括可带宽的、低秩的和稀疏的精度矩阵，扩展其在高维推断中的实用性。
• 使用诸如中值定理、柯西-施瓦茨不等式和集中不等式等理论工具，推导估计误差的随机界。

实验结果

研究问题

• RQ1 如何在不依赖次高斯或高斯假设的前提下，使协方差估计对重尾数据具有鲁棒性？
• RQ2 在弱矩条件下，协方差估计中偏差与鲁棒性之间的最优权衡是什么？
• RQ3 如何利用数据自动校准鲁棒估计器中的调参，而非依赖人工选择？
• RQ4 基于截断的方法和基于M-估计器的方法是否能在重尾分布下实现非渐近偏差保证？
• RQ5 在高维情况下，所提出的估计器在带宽型、低秩型和稀疏精度矩阵等结构化模型中的表现如何？

主要发现

• 所提出的估计器实现了非渐近偏差界，阶为 $ O_{\mathbb{P}}(\sqrt{\log d / n} + d^{-1/2}) $，能自适应样本大小和维度。
• 数据驱动的调参选择确保了偏差与鲁棒性之间的最优平衡，实现了无需专家调参的实用化实施。
• 逐元素和谱级截断算子显著降低了对重尾数据中随机异常值的敏感性。
• M-估计器变体在弱矩假设下提供了更紧的偏差控制，在有限样本中优于经典估计器。
• 数值研究证实了在带宽型、低秩型和稀疏精度矩阵模型中均表现出强劲的实证性能。
• 理论分析表明，鲁棒化参数必须自适应样本大小、维度和噪声水平，才能实现最优性能。