[论文解读] Supervised LogEuclidean Metric Learning for Symmetric Positive Definite Matrices

Florian Yger, Masashi Sugiyama|arXiv (Cornell University)|Feb 12, 2015

Face and Expression Recognition参考文献 34被引用 24

一句话总结

该论文提出了一种基于Riemann流形上核目标对齐的监督LogEuclidean度量学习方法，用于对称正定（SPD）矩阵。通过在Riemann优化下优化参考矩阵 $ G_{ ext{KTA}} $，该方法在EEG和纹理数据上的最近邻分类准确率得到提升，优于标准欧氏度量及其他Riemann度量，在多个基准测试中表现更优。

ABSTRACT

Metric learning has been shown to be highly effective to improve the performance of nearest neighbor classification. In this paper, we address the problem of metric learning for Symmetric Positive Definite (SPD) matrices such as covariance matrices, which arise in many real-world applications. Naively using standard Mahalanobis metric learning methods under the Euclidean geometry for SPD matrices is not appropriate, because the difference of SPD matrices can be a non-SPD matrix and thus the obtained solution can be uninterpretable. To cope with this problem, we propose to use a properly parameterized LogEuclidean distance and optimize the metric with respect to kernel-target alignment, which is a supervised criterion for kernel learning. Then the resulting non-trivial optimization problem is solved by utilizing the Riemannian geometry. Finally, we experimentally demonstrate the usefulness of our LogEuclidean metric learning algorithm on real-world classification tasks for EEG signals and texture patches.

研究动机与目标

• 为解决标准马氏距离学习在SPD矩阵上的局限性，其在欧氏几何下因非SPD插值而产生难以解释的解。
• 开发一种专用于SPD矩阵的监督度量学习框架，采用LogEuclidean距离，以保持几何结构并避免膨胀效应。
• 利用核目标对齐作为监督准则，对LogEuclidean度量中的参考矩阵进行优化，以提升分类性能。
• 利用Riemann优化技术求解SPD流形上的非平凡且带约束的优化问题。
• 在涉及EEG信号和纹理块的真实世界分类任务中，对方法进行实证验证。

提出的方法

• 将LogEuclidean距离参数化为 $ \delta_l(A,B) = \| \log A - \log B \|_\mathcal{F} $，确保几何一致性并避免非SPD结果。
• 将度量学习建模为核目标对齐（KTA）优化问题，以最大化核与目标分类矩阵之间的相似性。
• 在SPD流形上使用Riemann优化求解参考矩阵 $ G $ 的约束优化，确保其在更新过程中始终保持SPD。
• 通过使用 $ \bar{X}^{-1/2} $ 的数据白化变换来提升泛化能力，支持半监督校准。
• 通过最小化KTA准则来优化参考矩阵 $ G $，使由LogEuclidean度量诱导的核与目标标签对齐。
• 将所得的 $ G_{\text{KTA}} $ 用作最近邻分类中LogEuclidean距离的参考。

实验结果

研究问题

• RQ1 与标准欧氏度量相比，基于LogEuclidean距离的监督度量学习是否能提升SPD矩阵的分类性能？
• RQ2 通过核目标对齐优化LogEuclidean度量中的参考矩阵，是否能实现比固定或经验参考更好的泛化性能？
• RQ3 所提出的Riemann优化框架如何处理SPD矩阵学习中非凸且带约束的特性？
• RQ4 该方法在真实世界EEG与纹理分类任务中的性能提升程度如何？
• RQ5 该方法能否扩展至多分类或大规模场景？其计算权衡如何？

主要发现

• 在BCI Competition IV Dataset 2a上，该方法使用 $ G_{\text{KTA}} $ 获得71.99%的平均准确率，优于单位矩阵（70.29%）及其他参考选择。
• 在EEG分类中，该方法在9名受试者中的5名上提升了准确率，并在所有测试距离中达到最高平均准确率。
• 在Brodatz纹理数据集上，该方法使用 $ G_{\text{KTA}} $ 获得80.17%的平均分类准确率，显著优于欧氏距离（65.60%）及其他Riemann度量。
• 使用优化后的 $ G_{\text{KTA}} $ 的LogEuclidean距离在所有受试者和纹理对中始终排名第一或第二，表现出强鲁棒性与泛化能力。
• 采用 $ \bar{X}^{-1/2} $ 的半监督白化步骤提升了性能，并在实际应用中保持了实用性。
• 结果表明，对LogEuclidean参考矩阵进行监督优化可带来显著性能提升，尤其在高维SPD数据（如协方差矩阵）中。