[论文解读] Robust Covariance Estimation for Approximate Factor Models

Jianqing Fan, Weichen Wang+1 more|arXiv (Cornell University)|Feb 1, 2016

Statistical Methods and Inference参考文献 38被引用 5

一句话总结

本文提出了一种针对可观测因子的近似因子模型的鲁棒协方差估计框架，通过最小化Huber损失来处理重尾数据。研究证明，若初始联合协方差估计器达到最优逐元素速率，则最终的协方差估计仍能继承理想的渐近性质，即使在仅具有有界四阶矩的次高斯分布和椭球分布下亦成立。

ABSTRACT

In this paper, we study robust covariance estimation under the approximate factor model with observed factors. We propose a novel framework to first estimate the initial joint covariance matrix of the observed data and the factors, and then use it to recover the covariance matrix of the observed data. We prove that once the initial matrix estimator is good enough to maintain the element-wise optimal rate, the whole procedure will generate an estimated covariance with desired properties. For data with only bounded fourth moments, we propose to use Huber loss minimization to give the initial joint covariance estimation. This approach is applicable to a much wider range of distributions, including sub-Gaussian and elliptical distributions. We also present an asymptotic result for Huber's M-estimator with a diverging parameter. The conclusions are demonstrated by extensive simulations and real data analysis.

研究动机与目标

• 开发一种适用于数据呈现重尾或仅具有有界四阶矩的近似因子模型的鲁棒协方差估计方法。
• 解决现有方法假设次高斯或次指数尾部的局限性。
• 提出一种两阶段框架：首先估计可观测数据与因子的联合协方差，然后恢复可观测数据的协方差。
• 在弱矩条件下的理论保证，将适用范围扩展至更广泛的分布类。
• 为发散参数设置下的Huber M-估计器提供渐近理论，支持高维设定下的鲁棒性。

提出的方法

• 提出一种两阶段估计框架：首先估计可观测数据与因子的联合协方差矩阵，然后恢复可观测数据的协方差矩阵。
• 通过最小化Huber损失构造初始联合协方差估计器，确保在重尾分布下的鲁棒性。
• 证明：若初始估计器达到逐元素最优速率，则最终协方差估计继承理想的统计性质。
• 将该框架应用于仅具有有界四阶矩的数据，使其适用于次高斯和椭球分布。
• 推导在发散参数设定下Huber M-估计器的渐近正态性，将经典结果扩展至高维、重尾设定。
• 采用一种新颖的理论论证，结合Huber损失函数导数的行为与泰勒展开，证明依分布收敛。

实验结果

研究问题

• RQ1 当数据仅具有有界四阶矩时，能否在近似因子模型中实现鲁棒协方差估计？
• RQ2 Huber损失最小化是否能为可观测变量与因子的联合协方差提供一致且渐近正态的估计器？
• RQ3 在何种条件下，两阶段估计框架能产生具有最优收敛速率的协方差估计器？
• RQ4 在重尾和非次高斯分布下，Huber基估计器的性能与经典估计器相比如何？
• RQ5 当调优参数随样本量发散时，Huber M-估计器的渐近分布是什么？

主要发现

• 所提出的两阶段框架确保：若初始联合协方差估计器达到逐元素最优速率，则最终协方差估计继承理想的统计性质。
• Huber损失最小化提供了鲁棒的初始估计器，在仅具有有界四阶矩的次高斯和椭球分布下表现良好。
• 即使调优参数随样本量发散，Huber M-估计器的渐近正态性仍可建立。
• 理论分析证实，Huber估计器以参数速率依分布收敛至正态分布，极限方差依赖于底层分布的峰度。
• 该方法对重尾误差具有鲁棒性，并在温和矩条件下保持效率。
• 大量模拟实验与真实数据分析证实，该方法在重尾设定下相比经典估计器展现出更强的鲁棒性与更优的小样本性能。