[论文解读] Two-Stage Metric Learning

Jun Wang, Ke Sun+3 more|arXiv (Cornell University)|May 12, 2014

Face and Expression Recognition参考文献 23被引用 7

一句话总结

本文提出了一种新颖的度量学习框架——两阶段度量学习（SBFIML），该框架通过固定锚点的相似度将数据实例映射到概率分布，然后在所得统计流形上使用费舍尔信息距离定义输入空间中的距离。该方法对数据密度变化具有鲁棒性，并在锚点流形上实现最大区分度，分类准确率显著优于现有度量学习方法和SVM。

ABSTRACT

In this paper, we present a novel two-stage metric learning algorithm. We first map each learning instance to a probability distribution by computing its similarities to a set of fixed anchor points. Then, we define the distance in the input data space as the Fisher information distance on the associated statistical manifold. This induces in the input data space a new family of distance metric with unique properties. Unlike kernelized metric learning, we do not require the similarity measure to be positive semi-definite. Moreover, it can also be interpreted as a local metric learning algorithm with well defined distance approximation. We evaluate its performance on a number of datasets. It outperforms significantly other metric learning methods and SVM.

研究动机与目标

• 为解决全局和局部度量学习方法的局限性，特别是其灵活性不足以及对数据密度变化缺乏鲁棒性。
• 开发一种无需相似度矩阵为半正定的度量学习方法，与核化度量学习不同。
• 提供一种定义明确、对称的距离近似，可解释为具有闭式表达的局部度量学习。
• 通过增强锚点流形上的距离区分度并抑制无关维度，提升分类性能。

提出的方法

• 通过计算输入实例与数据空间中一组固定锚点的非负相似度，将其映射为概率分布。
• 将输入空间中的距离定义为这些概率分布所诱导的统计流形上的费舍尔信息距离。
• 利用由费舍尔信息导出的黎曼度量，构建对数据密度变化具有鲁棒性的新型距离度量族。
• 确保在锚点流形上实现最大距离区分度，并在正交方向上实现零距离，从而有效消除无关维度的影响。
• 将度量学习问题形式化为两阶段过程：(1) 基于相似度的嵌入至单纯形空间，(2) 基于费舍尔信息的距离计算。
• 通过灵活的非半正定相似度函数，使方法可应用于多种数据流形（如欧氏空间、概率单纯形、超球面）。

实验结果

研究问题

• RQ1 能否设计一种度量学习框架，避免核化度量学习中对半正定性的约束，同时保持灵活性？
• RQ2 如何形式化一种具有明确定义、对称的距离函数的局部度量学习方法，而非依赖近似？
• RQ3 能否使度量对数据密度变化具有鲁棒性，以避免偏向低密度区域？
• RQ4 在统计流形上基于费舍尔信息学习距离，是否能相比最先进方法提升分类性能？

主要发现

• SBFIML在多个基准数据集上的分类准确率显著优于其他度量学习方法和SVM。
• 在Splice和Pendigits数据集上，根据McNemar检验，SBFIML相较于SBMML的性能提升具有统计显著性（p < 0.05）。
• 在Pendigits数据集上，SBFIML相较于χ² LMNN也表现出统计显著的优越性，总评分达到6.5分（评估排名）。
• 该方法对数据密度变化具有鲁棒性，可防止目标函数偏向低密度区域。
• 所诱导的度量在锚点流形上表现出最大距离区分度，在正交方向上距离为零，有效过滤了无关特征。
• 所提出的方法提供了闭式、对称的距离近似，与以往局部度量学习方法所产生的非度量距离形成鲜明对比。