[论文解读] Supervised Metric Learning with Generalization Guarantees

Aurélien Bellet|arXiv (Cornell University)|Jul 17, 2013

Machine Learning and Algorithms参考文献 185被引用 7

一句话总结

该论文提出了一种新型的监督度量学习框架，具有理论上的泛化保证，引入了一种基于学习到的编辑概率的无参字符串核，以及一种针对结构化数据（字符串、树）和向量数据的 $(\epsilon,\gamma,\tau)$-良好相似度的凸优化方法。主要贡献在于建立了一个统一的理论分析，为在学习到的度量上训练的线性分类器提供了更紧致的泛化界，解决了度量学习中长期被忽视的泛化问题。

ABSTRACT

The crucial importance of metrics in machine learning algorithms has led to an increasing interest in optimizing distance and similarity functions, an area of research known as metric learning. When data consist of feature vectors, a large body of work has focused on learning a Mahalanobis distance. Less work has been devoted to metric learning from structured objects (such as strings or trees), most of it focusing on optimizing a notion of edit distance. We identify two important limitations of current metric learning approaches. First, they allow to improve the performance of local algorithms such as k-nearest neighbors, but metric learning for global algorithms (such as linear classifiers) has not been studied so far. Second, the question of the generalization ability of metric learning methods has been largely ignored. In this thesis, we propose theoretical and algorithmic contributions that address these limitations. Our first contribution is the derivation of a new kernel function built from learned edit probabilities. Our second contribution is a novel framework for learning string and tree edit similarities inspired by the recent theory of (e,g,t)-good similarity functions. Using uniform stability arguments, we establish theoretical guarantees for the learned similarity that give a bound on the generalization error of a linear classifier built from that similarity. In our third contribution, we extend these ideas to metric learning from feature vectors by proposing a bilinear similarity learning method that efficiently optimizes the (e,g,t)-goodness. Generalization guarantees are derived for our approach, highlighting that our method minimizes a tighter bound on the generalization error of the classifier. Our last contribution is a framework for establishing generalization bounds for a large class of existing metric learning algorithms based on a notion of algorithmic robustness.

研究动机与目标

• 解决现有监督度量学习方法中缺乏理论泛化保证的问题，特别是针对全局算法（如线性分类器）的局限性。
• 克服当前方法仅关注局部算法（如 k-NN）而忽略泛化性能的缺陷。
• 提出一种系统性的度量学习方法，确保学习到的相似度函数能在未见数据上良好泛化。
• 将 $(\epsilon,\gamma,\tau)$-良好相似度的理论扩展至结构化对象（字符串、树）和向量数据。
• 提供一个适用于广泛现有度量学习算法的统一理论框架，通过算法鲁棒性实现泛化边界。

提出的方法

• 提出一种新颖的无参字符串核，基于学习到的编辑概率构建，确保有效性且无需超参数调优。
• 将字符串和树的度量学习形式化为基于 $(\epsilon,\gamma,\tau)$-良好性准则的凸优化问题，确保鲁棒性和泛化性。
• 为向量数据引入一种双线性相似度学习方法，在适用于线性分类的全局约束下优化 $(\epsilon,\gamma,\tau)$-良好性。
• 利用一致稳定性理论，推导在线性分类器在学习到的相似度上训练时的泛化误差边界。
• 将算法鲁棒性的概念进行适配，推导适用于多种损失函数和正则化项的度量学习算法的泛化边界。
• 建立相似度函数的 $(\epsilon,\gamma,\tau)$-良好性与下游线性分类器泛化误差之间的理论联系。

实验结果

研究问题

• RQ1 能否从学习到的编辑概率构建一个有效且无参的字符串核，以确保下游分类任务中的泛化性能？
• RQ2 如何将结构化数据（字符串、树）的度量学习形式化为具有理论泛化保证的凸优化问题？
• RQ3 $(\epsilon,\gamma,\tau)$-良好性框架能否扩展至适用于线性分类器的全局约束下的基于向量的度量学习？
• RQ4 相似度函数的 $(\epsilon,\gamma,\tau)$-良好性与线性分类器的泛化误差之间存在何种关系？
• RQ5 能否开发一个统一的理论框架，通过算法鲁棒性推导出多种度量学习算法的泛化边界？

主要发现

• 基于学习到的编辑概率提出的字符串核被保证为有效核，且无需任何超参数调优。
• 用于学习 $(\epsilon,\gamma,\tau)$-良好相似度的凸优化框架，为在字符串和树数据上训练的线性分类器提供了理论泛化边界。
• 为向量数据设计的双线性相似度学习方法，通过引入全局约束，实现了比先前方法更紧致的泛化误差边界。
• 通过一致稳定性推导出的泛化边界表明，学习到的相似度函数能确保在未见数据上具有受控的泛化误差。
• 所提出的算法鲁棒性框架能够推导出广泛类别的度量学习算法的泛化边界，包括使用不同损失函数和正则化项的算法。
• 理论分析证实，所提出的方法相比现有度量学习方法，能最小化线性分类器泛化误差的更紧致边界。