[论文解读] Similarity-based Learning via Data Driven Embeddings

Purushottam Kar, Prateek Jain|arXiv (Cornell University)|Dec 22, 2011

Multimodal Machine Learning Applications参考文献 24被引用 22

一句话总结

本文提出了一种数据驱动的框架，通过联合优化（不）相似度函数的优度准则和选择多样化的地标点来学习基于相似度的分类器。该研究提出FTUNE方法，在小规模地标集上，准确率相比现有方法最高提升5%，具备强大的泛化保证，并可通过地标嵌入与Lipschitz损失优化，适用于非PSD核函数。

ABSTRACT

We consider the problem of classification using similarity/distance functions over data. Specifically, we propose a framework for defining the goodness of a (dis)similarity function with respect to a given learning task and propose algorithms that have guaranteed generalization properties when working with such good functions. Our framework unifies and generalizes the frameworks proposed by [Balcan-Blum ICML 2006] and [Wang et al ICML 2007]. An attractive feature of our framework is its adaptability to data - we do not promote a fixed notion of goodness but rather let data dictate it. We show, by giving theoretical guarantees that the goodness criterion best suited to a problem can itself be learned which makes our approach applicable to a variety of domains and problems. We propose a landmarking-based approach to obtaining a classifier from such learned goodness criteria. We then provide a novel diversity based heuristic to perform task-driven selection of landmark points instead of random selection. We demonstrate the effectiveness of our goodness criteria learning method as well as the landmark selection heuristic on a variety of similarity-based learning datasets and benchmark UCI datasets on which our method consistently outperforms existing approaches by a significant margin.

研究动机与目标

• 解决非PSD核学习中固定预定义的相似度函数优度准则的局限性。
• 开发一个统一框架，从数据中学习最优优度准则，推广[1]和[2]中的既有工作。
• 通过引入一种新颖的基于多样性的启发式方法，而非随机采样，提升地标选择的效率与性能。
• 通过Lipschitz损失函数，为地标嵌入提供泛化保证，使其可应用于SVM和逻辑回归。
• 在基准相似度学习和UCI数据集上进行实证验证，证明方法的一致优越性。

提出的方法

• 提出一种统一框架，直接从数据中学习（不）相似度函数的优度准则，而非假设固定准则。
• 引入一致收敛界，以学习给定分类任务下的最优优度准则，实现理论保证。
• 采用基于地标点的嵌入方法，将数据点投影到使用选定地标点生成的低维欧几里得空间中。
• 开发一种基于多样性的启发式方法，用于选择信息丰富的地标点，减少冗余并提升嵌入质量。
• 将任意Lipschitz损失函数融入优度准则，实现与C-SVM和逻辑回归等标准算法的兼容性。
• 采用基于验证的迁移函数选择（FTUNE），自适应调整嵌入变换，提升泛化性能。

实验结果

研究问题

• RQ1 （不）相似度函数的优度准则能否从数据中学习，以提升分类性能？
• RQ2 在基于相似度的学习中，如何使地标选择比随机采样更有效？
• RQ3 在使用非PSD相似度函数时，能否为地标嵌入建立泛化保证？
• RQ4 在真实世界分类任务中，数据驱动的优度准则是否优于固定准则？
• RQ5 基于多样性的地标选择在多大程度上能提升性能，尤其是在小规模地标集上？

主要发现

• FTUNE-S与FTUNE-M方法在小规模地标集（如30–50个地标）上，相比BBS与DBOOST等现有方法，准确率最高提升5%。
• 在UCI基准数据集上，FTUNE-S在所有地标数量下均持续优于BBS与DBOOST，且随着地标数量增加，准确率曲线的主导性愈发明显。
• 在较大数据集上（如平均大小13,200），FTUNE显著优于基线方法；而在较小数据集上（如平均大小660），其性能通过DSELECT得到优化，有效缓解了过拟合。
• 基于多样性的地标选择启发式方法在性能上优于随机选择，尤其在地标数量有限时优势更明显。
• 所提出的框架推广了[1]和[2]的既有工作，实现了对优度准则本身的端到端学习，从而更紧密地匹配分类任务需求。
• 实证结果表明，采用单一迁移函数的FTUNE-S在性能上与多类迁移（FTUNE-M）相当或更优，且在大多数情况下，后者并无显著优势。