[论文解读] Simultaneous penalized M-estimation of covariance matrices using geodesically convex optimization

Esa Ollila, Ilya Soloveychik+2 more|arXiv (Cornell University)|Aug 29, 2016

Advanced Statistical Methods and Models参考文献 28被引用 23

一句话总结

本文提出两种基于测地凸性的惩罚M-估计方法，用于在假设K个协方差矩阵接近共同中心的前提下，同时估计多个协方差矩阵。通过利用测地凸性，这些方法基于欧氏距离、黎曼距离和Kullback-Leibler距离的惩罚项，确保了解的唯一性和鲁棒性，其在正则化判别分析中的应用显示了相较于经典方法的性能提升。

ABSTRACT

A common assumption when sampling $p$-dimensional observations from $K$ distinct group is the equality of the covariance matrices. In this paper, we propose two penalized $M$-estimation approaches for the estimation of the covariance or scatter matrices under the broader assumption that they may simply be close to each other, and hence roughly deviate from some positive definite "center". The first approach begins by generating a pooled $M$-estimator of scatter based on all the data, followed by a penalised $M$-estimator of scatter for each group, with the penalty term chosen so that the individual scatter matrices are shrunk towards the pooled scatter matrix. In the second approach, we minimize the sum of the individual group $M$-estimation cost functions together with an additive joint penalty term which enforces some similarity between the individual scatter estimators, i.e. shrinkage towards a mutual center. In both approaches, we utilize the concept of geodesic convexity to prove the existence and uniqueness of the penalized solution under general conditions. We consider three specific penalty functions based on the Euclidean, the Riemannian, and the Kullback-Leibler distances. In the second approach, the distance based penalties are shown to lead to estimators of the mutual center that are related to the arithmetic, the Riemannian and the harmonic means of positive definite matrices, respectively. A penalty based on an ellipticity measure is also considered which is particularly useful for shape matrix estimators. Fixed point equations are derived for each penalty function and the benefits of the estimators are illustrated in regularized discriminant analysis problem.

研究动机与目标

• 解决在样本量相对于维度较小的情况下估计多个高维协方差矩阵的挑战。
• 通过将各组协方差矩阵收缩至共同中心，纳入组间协方差矩阵相似但未必相等的先验知识。
• 开发对异常值和重尾分布具有鲁棒性的估计方法，突破高斯分布假设的限制。
• 利用正定矩阵流形上的测地凸性，确保惩罚M-估计量的存在性和唯一性。
• 通过用稳健的、基于收缩的估计量替代经典样本协方差矩阵，扩展正则化判别分析。

提出的方法

• 提出两阶段方法：首先从所有数据中计算合并的M-估计量，然后使用测地凸惩罚将各组M-估计量向其收缩。
• 引入联合优化框架，最小化各自主模型损失函数之和，外加一个强制各组散点矩阵相似性的联合惩罚项。
• 在正定矩阵的黎曼流形上利用测地凸性（g-凸性），以确保优化问题的凸性。
• 采用三种惩罚函数：欧氏距离、黎曼距离和Kullback-Leibler距离，分别对应不同类型矩阵均值（算术均值、几何均值、调和均值）。
• 为每种惩罚类型推导出定点迭代算法，实现惩罚估计量的数值计算。
• 考虑一种基于椭圆度度量的附加惩罚，特别适用于稳健统计中形状矩阵的估计。

实验结果

研究问题

• RQ1 是否能够同时实现多个协方差矩阵的稳健M-估计，同时保证解的唯一性和稳定性？
• RQ2 如何利用测地凸性将正定流形上的非凸M-估计问题转化为凸问题？
• RQ3 对个体组散点矩阵向共同中心收缩的惩罚M-估计量，其统计与计算特性如何？
• RQ4 基于不同距离的惩罚（欧氏、黎曼、KL）如何影响最终估计量及其作为矩阵均值的解释？
• RQ5 与经典方法相比，所提出的稳健收缩估计量在正则化判别分析中的性能提升程度如何？

主要发现

• 由于测地凸性，所提出的惩罚M-估计方法在一般条件下保证了解的存在性和唯一性。
• 基于Kullback-Leibler散度的惩罚项导出的解对应于正定矩阵的调和均值。
• 基于黎曼距离的惩罚项得到的结果为散点矩阵的几何均值（黎曼均值），在协方差估计中已知表现良好。
• 基于欧氏距离的惩罚项导出的解等价于矩阵的算术均值，计算简单但某些情境下鲁棒性较差。
• 为每种惩罚类型推导出的定点算法收敛至唯一最小化解，支持实际实现。
• 在正则化判别分析中的实证结果表明，与经典正则化判别分析相比，分类准确率和鲁棒性均得到提升，尤其在非高斯和重尾数据下表现更优。