[论文解读] Regularization of the Kernel Matrix via Covariance Matrix Shrinkage Estimation

Tomer Lancewicki|arXiv (Cornell University)|Jul 19, 2017

Face and Expression Recognition参考文献 26被引用 3

一句话总结

本文提出了一种基于协方差矩阵收缩估计的无分布假设核矩阵正则化方法，直接从核矩阵进行调优，无需显式处理特征空间。该方法通过MSE优化的收缩策略，稳定了高维小样本设置下病态的核矩阵，显著提升了分类任务的性能。

ABSTRACT

The kernel trick concept, formulated as an inner product in a feature space, facilitates powerful extensions to many well-known algorithms. While the kernel matrix involves inner products in the feature space, the sample covariance matrix of the data requires outer products. Therefore, their spectral properties are tightly connected. This allows us to examine the kernel matrix through the sample covariance matrix in the feature space and vice versa. The use of kernels often involves a large number of features, compared to the number of observations. In this scenario, the sample covariance matrix is not well-conditioned nor is it necessarily invertible, mandating a solution to the problem of estimating high-dimensional covariance matrices under small sample size conditions. We tackle this problem through the use of a shrinkage estimator that offers a compromise between the sample covariance matrix and a well-conditioned matrix (also known as the "target") with the aim of minimizing the mean-squared error (MSE). We propose a distribution-free kernel matrix regularization approach that is tuned directly from the kernel matrix, avoiding the need to address the feature space explicitly. Numerical simulations demonstrate that the proposed regularization is effective in classification tasks.

研究动机与目标

• 解决在样本协方差矩阵病态或不可逆的高维小样本设置下核矩阵的不稳定性问题。
• 开发一种避免显式计算特征空间的核矩阵正则化方法，同时保持统计最优性。
• 提供一种基于收缩的正则化方法，直接从核矩阵调优，最小化均方误差（MSE），且无需额外结构假设。

提出的方法

• 该方法利用特征空间中核矩阵与样本协方差矩阵之间的谱关系，将收缩估计技术进行迁移。
• 其构造了一个收缩估计器，通过平衡样本协方差矩阵与一个条件良好的目标矩阵来最小化MSE。
• 通过核矩阵的迹和Frobenius范数运算，从核矩阵中解析推导出最优收缩强度。
• 利用无偏估计量来估计样本协方差矩阵和目标矩阵的方差，这些估计量由核矩阵的迹和对角线元素导出。
• 最终的正则化通过一个包含核矩阵迹和对角线元素的闭式表达式，直接应用于核矩阵。
• 该方法为无分布假设方法，无需对底层数据分布或特征空间结构做任何假设。

实验结果

研究问题

• RQ1 是否可以在不显式访问特征空间或其协方差矩阵的情况下，有效实现核矩阵正则化？
• RQ2 如何将特征空间中样本协方差矩阵的收缩估计方法转化为核矩阵正则化方法？
• RQ3 在高维小样本条件下，核矩阵的最优收缩强度是什么？是否可直接从核矩阵计算得出？
• RQ4 与标准核方法相比，所提出的方法是否能提升分类任务的泛化性能？
• RQ5 是否可以仅基于核矩阵统计量，以无分布假设方式推导出收缩估计器？

主要发现

• 所提出的核矩阵正则化方法通过稳定病态核矩阵，在高维小样本设置下显著提升了分类性能。
• 该方法通过MSE最小化实现最优收缩，无需显式计算特征空间或引入额外结构假设。
• 最优收缩强度通过核矩阵的迹和对角线元素解析推导得出，可直接从核矩阵计算。
• 数值模拟结果表明，该正则化方法能提升分类任务的泛化能力和鲁棒性。
• 该方法提供了一种无分布假设、计算高效的核正则化替代方案，尤其在特征数超过样本数时表现优异。