[论文解读] Random Forests for Metric Learning with Implicit Pairwise Position Dependence

Caiming Xiong, David Johnson+2 more|arXiv (Cornell University)|Jan 3, 2012

Face and Expression Recognition参考文献 18被引用 22

一句话总结

本文提出随机森林距离（RFD），一种度量学习方法，通过利用随机森林编码数据点之间的相对与绝对成对位置，隐式地在特征空间中自适应调整距离函数。RFD 在多个基准测试中达到最先进准确率，同时比现有多度量方法快达16倍，在准确率和效率上均优于全局方法与位置特定方法。

ABSTRACT

Metric learning makes it plausible to learn distances for complex distributions of data from labeled data. However, to date, most metric learning methods are based on a single Mahalanobis metric, which cannot handle heterogeneous data well. Those that learn multiple metrics throughout the space have demonstrated superior accuracy, but at the cost of computational efficiency. Here, we take a new angle to the metric learning problem and learn a single metric that is able to implicitly adapt its distance function throughout the feature space. This metric adaptation is accomplished by using a random forest-based classifier to underpin the distance function and incorporate both absolute pairwise position and standard relative position into the representation. We have implemented and tested our method against state of the art global and multi-metric methods on a variety of data sets. Overall, the proposed method outperforms both types of methods in terms of accuracy (consistently ranked first) and is an order of magnitude faster than state of the art multi-metric methods (16x faster in the worst case).

研究动机与目标

• 解决全局马氏距离度量在捕捉复杂非线性数据结构方面的局限性。
• 克服多度量方法因对每个实例或区域学习独立度量而导致的计算低效问题。
• 开发一种单一、高效的度量学习方法，隐式适应局部数据几何结构，而无需显式存储每个实例的度量矩阵。
• 将相对与绝对成对位置信息整合到距离函数中，以提升泛化能力。
• 在准确率上达到与多度量方法相当的水平，同时保持全局方法的计算效率。

提出的方法

• RFD使用随机森林分类器作为底层表示来建模距离函数，其中每棵树对特征空间进行划分，并编码局部结构。
• 该方法将相对位置（点对之间的差异）与绝对位置（点对在特征空间中的位置）同时纳入距离计算。
• 距离基于点对在森林中路径的相似性计算：在树中路径相似的点对被认为更接近。
• 通过成对约束（相似/不相似对）训练随机森林，以学习接近性的判别性表示。
• 最终距离由所有树中路径长度的平均值推导得出，隐式适应局部数据密度与几何结构。
• 该方法避免为每个点显式存储度量矩阵，从而实现快速推理与低内存占用。

实验结果

研究问题

• RQ1 是否存在一种单一的度量学习方法，能够隐式适应局部数据几何结构，而无需存储每个实例的度量？
• RQ2 与仅依赖相对位置的方法相比，引入绝对成对位置信息如何提升度量学习性能？
• RQ3 基于随机森林的方法能否在度量学习中同时实现高准确率与计算效率？
• RQ4 在准确率与速度方面，RFD与最先进全局方法及多度量方法相比表现如何？
• RQ5 包含绝对位置信息是否能提升在多样化数据分布上的泛化能力？

主要发现

• 在多个数据集上的k-NN分类中，RFD始终优于全局方法（如ITML、DCA）与多度量方法，在所有评估中均取得最高准确率。
• 在Corel图像数据集上，RFD在10个类别中的9个类别实现了最佳检索精度，仅有一个类别出现轻微性能下降。
• 在最坏情况下，RFD比最快的多度量方法快16倍，展现出显著的计算效率。
• 与多度量方法不同，RFD在大k值下仍保持高性能，表明其对数据中全局非线性的鲁棒性。
• 在7个与5个类别中，RFD优于ITML与DCA，表明其在特定数据区域中更不易发生性能退化。
• 该方法展现出强大的泛化能力，随着k值增加，性能无显著下降，而传统全局方法则表现不佳。