[论文解读] Orthogonality-Promoting Distance Metric Learning: Convex Relaxation and Theoretical Analysis

Pengtao Xie, Wei Wu+2 more|arXiv (Cornell University)|Feb 16, 2018

Face and Expression Recognition被引用 14

一句话总结

本文提出了非凸正交性促进距离度量学习（DML）问题的凸松弛方法，以实现全局最优解。通过引入凸正则化项（CSFN、CLDD、CVND），该方法提升了平衡性、紧凑性和泛化能力——在罕见类别上的AUC表现更优，且训练速度优于非凸基线方法。

ABSTRACT

Distance metric learning (DML), which learns a distance metric from labeled "similar" and "dissimilar" data pairs, is widely utilized. Recently, several works investigate orthogonality-promoting regularization (OPR), which encourages the projection vectors in DML to be close to being orthogonal, to achieve three effects: (1) high balancedness -- achieving comparable performance on both frequent and infrequent classes; (2) high compactness -- using a small number of projection vectors to achieve a "good" metric; (3) good generalizability -- alleviating overfitting to training data. While showing promising results, these approaches suffer three problems. First, they involve solving non-convex optimization problems where achieving the global optimal is NP-hard. Second, it lacks a theoretical understanding why OPR can lead to balancedness. Third, the current generalization error analysis of OPR is not directly on the regularizer. In this paper, we address these three issues by (1) seeking convex relaxations of the original nonconvex problems so that the global optimal is guaranteed to be achievable; (2) providing a formal analysis on OPR's capability of promoting balancedness; (3) providing a theoretical analysis that directly reveals the relationship between OPR and generalization performance. Experiments on various datasets demonstrate that our convex methods are more effective in promoting balancedness, compactness, and generalization, and are computationally more efficient, compared with the nonconvex methods.

研究动机与目标

• 解决在距离度量学习（DML）中正交性促进正则化（OPR）对平衡性缺乏理论理解的问题。
• 通过开发保证全局最优性的凸松弛方法，克服非凸OPR公式在计算上的不可行性。
• 建立OPR与泛化误差之间的直接理论联系，表明减小凸正则化项可收紧泛化误差上界。
• 在包括医疗、文本、图像和传感数据在内的多样化数据集上，展示在平衡性、紧凑性和泛化能力方面的性能提升。

提出的方法

• 利用Schatten-p范数、核范数和基于对数行列式正则化项（CSFN、CLDD、CVND），对非凸OPR目标进行凸松弛。
• 将DML问题建模为带有非凸正交性约束凸代理的凸优化问题。
• 设计高效的近端梯度下降算法，通过单次初始化即可收敛至全局最优解。
• 提出一个理论框架，将凸正则化项的大小与泛化误差上界直接关联。
• 将凸正则化项作为非凸对应项（SFN、LDD、VND）的代理，通过实验中的经验相关性加以验证。
• 将在多模态数据上学习到的度量应用于检索任务，评估在频繁类和罕见类上的性能表现。

实验结果

研究问题

• RQ1 在DML中，非凸OPR问题的凸松弛方法能否实现全局最优性和计算效率？
• RQ2 正交性促进正则化在形式上如何增强频繁类与罕见类之间的平衡性？
• RQ3 在DML中，OPR与泛化误差之间是否存在直接的理论关系？
• RQ4 所提出的凸正则化项能否有效近似非凸OPR方法的性能？
• RQ5 凸OPR框架能否在保持或提升检索性能的同时，改善紧凑性和泛化能力？

主要发现

• 凸正则化项（CSFN、CLDD、CVND）能有效近似非凸OPR目标，且随着正则化强度增加，非凸正则化项的值持续减小。
• 所提出的凸DML方法在罕见类别上的AUC显著高于非凸基线方法，证明了其在平衡性上的改进。
• 训练时间大幅缩短——相比正则化非凸方法快至12倍，这是由于消除了超参数调优循环。
• 泛化误差上界与凸正则化项直接关联，表明最小化这些正则化项可降低泛化误差的上界。
• 该方法在包括医疗、文本、图像和传感数据在内的多样化数据集上，保持或提升了检索性能，同时使用更少的投影向量。
• AUC和平衡性得分的标准误差低于基线，表明在多次运行中性能更稳定。