[论文解读] Similarity-based Classification: Connecting Similarity Learning to Binary Classification

Han Bao, Takuya Shimada+3 more|arXiv (Cornell University)|Jun 11, 2020

Machine Learning and Data Classification参考文献 1被引用 6

一句话总结

本文提出了一种基于相似性的分类框架，通过仅使用成对标签训练二元分类器，将成对相似性学习与二元分类相连接。结果表明，优化相似样本预测值的乘积可最小化与二元分类相关的风险界，从而推广现有方法，并在基准数据集上实现优异的实验性能。

ABSTRACT

In real-world classification problems, pairwise supervision (i.e., a pair of patterns with a binary label indicating whether they belong to the same class or not) can often be obtained at a lower cost than ordinary class labels. Similarity learning is a general framework to utilize such pairwise supervision to elicit useful representations by inferring the relationship between two data points, which encompasses various important preprocessing tasks such as metric learning, kernel learning, graph embedding, and contrastive representation learning. Although elicited representations are expected to perform well in downstream tasks such as classification, little theoretical insight has been given in the literature so far. In this paper, we reveal that a specific formulation of similarity learning is strongly related to the objective of binary classification, which spurs us to learn a binary classifier without ordinary class labels---by fitting the product of real-valued prediction functions of pairwise patterns to their similarity. Our formulation of similarity learning does not only generalize many existing ones, but also admits an excess risk bound showing an explicit connection to classification. Finally, we empirically demonstrate the practical usefulness of the proposed method on benchmark datasets.

研究动机与目标

• 建立仅使用成对标签的相似性学习与二元分类之间的理论联系。
• 开发一种方法，通过利用成对相似性监督，学习有效表征而不依赖常规类别标签。
• 提供一个统一的框架，推广现有的方法，如度量学习、核学习和对比表示学习。
• 推导出一个超出风险界，明确将相似性学习与二元分类性能联系起来。
• 在标准基准数据集上实证验证该方法的有效性。

提出的方法

• 该方法通过建模成对样本预测值的乘积，将相似性学习表述为二元分类问题。
• 利用成对标签（同类别/不同类别）训练模型，通过个体样本预测值的乘积来预测相似性。
• 目标函数被设计为最小化直接关联到二元分类误差的超出风险界。
• 该框架通过统一于同一优化原则，推广了现有的方法，如度量学习、核学习和对比学习。
• 该方法避免使用显式的类别标签，而是依赖于数据对之间的相对关系来学习判别性表征。
• 理论分析提供了风险界，表明最小化所提出的目标函数可提升下游二元分类任务的泛化性能。

实验结果

研究问题

• RQ1 能否在不访问标准类别标签的情况下，利用成对相似性监督训练二元分类器？
• RQ2 相似性学习与二元分类之间存在何种理论关系？
• RQ3 所提出的方法如何推广现有的相似性学习框架（如度量学习和对比学习）？
• RQ4 所提出的方法在标准基准数据集上是否达到具有竞争力的性能？
• RQ5 所提出方法的超出风险界是什么？它与二元分类误差有何关系？

主要发现

• 所提出的方法仅使用成对监督即在基准数据集上实现了优异性能，证明了其在无类别标签情况下的实际效用。
• 理论分析表明，该方法的目标函数通过超出风险界与最小化二元分类误差直接关联。
• 该框架推广了多种现有相似性学习方法，包括度量学习、核学习和对比表示学习。
• 该方法通过优化成对样本预测值的乘积来学习有效表征，这与二元分类的目标一致。
• 实验结果证实，该方法在标准基准数据集上的表现与标准监督方法具有竞争力。
• 该方法为仅使用成对标签训练二元分类器提供了合理方法，减少了对昂贵类别标注的依赖。