[论文解读] Parametric Local Metric Learning for Nearest Neighbor Classification

Jun Wang, Adam Woźnica+1 more|arXiv (Cornell University)|Sep 13, 2012

Face and Expression Recognition参考文献 19被引用 67

一句话总结

本文提出参数化局部度量学习（PLML），通过将局部度量建模为锚点处基度量的线性组合，并利用流形约束进行正则化，以在数据流形上学习平滑的参数化度量矩阵函数，从而防止过拟合。PLML在大规模数据集上显著优于当前最先进的全局和局部度量学习方法，以及采用自动核选择的SVM。

ABSTRACT

We study the problem of learning local metrics for nearest neighbor classification. Most previous works on local metric learning learn a number of local unrelated metrics. While this "independence" approach delivers an increased flexibility its downside is the considerable risk of overfitting. We present a new parametric local metric learning method in which we learn a smooth metric matrix function over the data manifold. Using an approximation error bound of the metric matrix function we learn local metrics as linear combinations of basis metrics defined on anchor points over different regions of the instance space. We constrain the metric matrix function by imposing on the linear combinations manifold regularization which makes the learned metric matrix function vary smoothly along the geodesics of the data manifold. Our metric learning method has excellent performance both in terms of predictive power and scalability. We experimented with several large-scale classification problems, tens of thousands of instances, and compared it with several state of the art metric learning methods, both global and local, as well as to SVM with automatic kernel selection, all of which it outperforms in a significant manner.

研究动机与目标

• 为解决由于独立学习大量局部度量而导致的过拟合问题。
• 通过学习平滑的、与数据流形感知的度量矩阵函数，提升最近邻分类的预测性能。
• 实现大规模分类问题中局部度量的可扩展且高效的训练。
• 减少对强生成假设或对参数设置敏感的依赖，这些在以往的局部度量学习方法中普遍存在。

提出的方法

• 将每个样本的局部度量参数化为一组锚点处的基度量矩阵的线性组合，其依据来自近似误差界。
• 使用流形正则化，以确保线性组合权重在数据流形上平滑变化，从而保证局部度量连续变化。
• 将学习问题表述为带有度量矩阵半正定（PSD）约束的约束优化问题。
• 应用FISTA（一种快速一阶优化算法），高效求解两阶段学习过程：首先优化线性组合系数，然后优化锚点处的基度量矩阵。
• 通过最小化包含三元组约束和流形正则化的损失函数，学习度量矩阵函数。
• 采用两阶段优化：首先优化线性组合的系数（权重），然后优化锚点处的基度量。

实验结果

研究问题

• RQ1 在数据流形上，参数化且平滑的度量矩阵函数是否能提升局部度量学习的泛化能力？
• RQ2 与独立度量学习相比，流形正则化是否能有效降低局部度量学习中的过拟合？
• RQ3 PLML在大规模数据集上的性能与当前最先进的全局和局部度量学习方法相比如何？
• RQ4 基度量的数量在多大程度上影响PLML的预测性能？
• RQ5 PLML是否能在多种分类问题中实现或超越采用自动核选择的SVM的性能？

主要发现

• PLML在六个数据集上总得分为37分，为所有方法中的最高分，显著优于其他所有方法，包括采用自动核选择的SVM（得分为32.5分）。
• 在六个数据集中的五个上，PLML显著优于全局度量学习方法（LMNN、BoostMetric、SML），仅在Isolet数据集上出现轻微准确率下降。
• 在所有数据集上，PLML均显著优于CBLML和LMNN-MM——这两种局部方法均未施加平滑性约束——证明了流形正则化在降低过拟合方面的有效性。
• PLML的性能随基度量数量的增加而提升，并在基度量数量足以建模数据时趋于饱和，表明未出现过拟合；相比之下，CBLML在增加基度量数量时性能下降。
• 在基于MNIST的数字分类任务中，PLML达到82.76%的准确率，优于CBLML（82.59%）、LMNN-MM（82.56%）和GLML（82.51%），且其局部度量在视觉上更平滑、更贴合数据。
• PLML在多种数据集上保持了强大性能，且无需手动调整目标位置或强模型假设，而以往方法如GLML或最小二乘法则通常需要此类设置。