[论文解读] New Algorithms for $M$-Estimation of Multivariate Location and Scatter

Lutz Duembgen, Klaus Nordhausen+1 more|arXiv (Cornell University)|Dec 23, 2013

Advanced Statistical Methods and Models参考文献 4被引用 4

一句话总结

本文提出了一种基于二阶泰勒展开和部分牛顿-拉夫森过程的更快的多元位置与散点M-估计算法，显著提升了固定点方法的计算速度。此外，通过使用不完全U-统计量，进一步加速了对称M-估计器，实现了高维设置下高效稳健的多元估计。

ABSTRACT

We present new algorithms for $M$-estimators of multivariate scatter and location and for symmetrized $M$-estimators of multivariate scatter. The new algorithms are considerably faster than currently used fixed-point and related algorithms. The main idea is to utilize a second order Taylor expansion of the target functional and to devise a partial Newton-Raphson procedure. In connection with symmetrized $M$-estimators we work with incomplete $U$-statistics to accelerate our procedures initially.

研究动机与目标

• 解决现有固定点算法在多元位置与散点M-估计中的计算低效问题。
• 为对称M-估计器的多元散点开发更快、可扩展的算法。
• 通过利用二阶近似和不完全U-统计量，降低稳健多元估计的计算成本。
• 使稳健M-估计器在高维数据设置下的实际应用成为可能。

提出的方法

• 该方法采用目标泛函的二阶泰勒展开，以更准确地近似目标函数。
• 使用部分牛顿-拉夫森过程迭代更新估计值，提升收敛速度。
• 对于对称M-估计器，应用不完全U-统计量以减轻初始阶段的计算负担。
• 算法设计注重计算效率，同时保持M-估计器的稳健性特性。
• 通过基于采样的近似方法，避免了U-统计量中所有成对项的完整计算。

实验结果

研究问题

• RQ1 二阶泰勒展开能否提升多元散点与位置M-估计算法的收敛速度？
• RQ2 如何在不牺牲估计精度的前提下降低对称M-估计器的计算成本？
• RQ3 部分牛顿-拉夫森更新在多元M-估计中相较于传统固定点迭代的性能优势有多大？
• RQ4 不完全U-统计量能否在高维场景下有效加速对称M-估计？

主要发现

• 所提出的算法在多元散点与位置M-估计中相比标准固定点方法实现了显著更快的收敛速度。
• 使用二阶泰勒展开可实现更精确的局部近似，从而加快迭代更新。
• 部分牛顿-拉夫森过程减少了达到收敛所需的迭代次数。
• 不完全U-统计量为对称M-估计器的初始估计提供了计算高效的替代方案。