[论文解读] Spectral, Probabilistic, and Deep Metric Learning: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Jan 23, 2022

Face and Expression Recognition被引用 14

一句话总结

本教程与综述全面回顾了谱方法、概率方法和深度度量学习方法，将其归类为三大核心类别。它介绍了马氏距离等基础概念，涵盖Fisher-HSIC、NCA、孪生网络和三元组损失等关键算法，并突出展示了少样本学习与多模态度量学习的最新进展，为表示学习与降维领域的研究人员提供了一套统一的参考文献。

ABSTRACT

This is a tutorial and survey paper on metric learning. Algorithms are divided into spectral, probabilistic, and deep metric learning. We first start with the definition of distance metric, Mahalanobis distance, and generalized Mahalanobis distance. In spectral methods, we start with methods using scatters of data, including the first spectral metric learning, relevant methods to Fisher discriminant analysis, Relevant Component Analysis (RCA), Discriminant Component Analysis (DCA), and the Fisher-HSIC method. Then, large-margin metric learning, imbalanced metric learning, locally linear metric adaptation, and adversarial metric learning are covered. We also explain several kernel spectral methods for metric learning in the feature space. We also introduce geometric metric learning methods on the Riemannian manifolds. In probabilistic methods, we start with collapsing classes in both input and feature spaces and then explain the neighborhood component analysis methods, Bayesian metric learning, information theoretic methods, and empirical risk minimization in metric learning. In deep learning methods, we first introduce reconstruction autoencoders and supervised loss functions for metric learning. Then, Siamese networks and its various loss functions, triplet mining, and triplet sampling are explained. Deep discriminant analysis methods, based on Fisher discriminant analysis, are also reviewed. Finally, we introduce multi-modal deep metric learning, geometric metric learning by neural networks, and few-shot metric learning.

研究动机与目标

• 为谱方法、概率方法和深度学习范式中的度量学习方法提供统一、深入的教程与综述。
• 阐明距离度量的理论基础，包括马氏距离与广义马氏距离。
• 系统化整理并对比主要算法族，如NCA、大-margin度量学习、孪生网络与少样本度量学习。
• 突出展示深度度量学习的最新进展，包括多模态方法与黎曼流形上的几何方法。
• 为降维、流形学习与表示学习领域的研究人员和实践者提供基础参考。

提出的方法

• 根据底层原理与优化框架，将度量学习划分为谱方法、概率方法与深度方法。
• 通过散度学习、广义特征值问题与核扩展，介绍谱方法，包括Fisher-HSIC与大-margin度量学习。
• 介绍概率方法，如邻域成分分析（NCA）、贝叶斯度量学习，以及基于熵与互信息的信息论方法。
• 详细阐述基于自编码器、带对比损失与三元组损失函数的孪生网络，以及基于Fisher准则的深度判别分析的深度度量学习。
• 涵盖高级主题，包括对抗性度量学习、黎曼流形上的几何深度度量学习，以及通过多尺度与连续相似性评分实现的少样本学习。
• 整合近期技术，如多尺度特征聚合与连续相似性评分，以提升少样本泛化性能。

实验结果

研究问题

• RQ1 谱方法如何通过数据散度与广义特征值问题有效学习距离度量？
• RQ2 如NCA与贝叶斯框架等概率模型在优化分类用度量空间中发挥何种作用？
• RQ3 如孪生网络与三元组损失等深度度量学习架构如何在监督与少样本设置中实现有效的表示学习？
• RQ4 核方法与几何扩展在非线性与流形结构数据中如何提升度量学习性能？
• RQ5 连续相似性评分与多尺度特征学习在何种方式下可增强少样本度量学习性能？

主要发现

• 谱度量学习方法如Fisher-HSIC与RCA通过最大化类间散度与最小化类内散度，有效优化距离度量。
• 概率方法如邻域成分分析（NCA）通过将分类建模为最近邻上的随机过程，实现稳健的度量学习。
• 基于三元组损失的深度孪生网络在少样本学习中实现最先进性能，通过相对比较学习判别性嵌入。
• 多尺度度量学习通过整合预训练网络多层特征，提升少样本泛化能力，增强特征层次的利用。
• 度量学习中的连续相似性评分相比二值相似性标签，可实现更平滑的优化与更好的泛化性能。
• 在黎曼流形上进行的几何深度度量学习可更准确地建模内在数据结构，尤其适用于非欧几里得空间。