[论文解读] Sparse Compositional Metric Learning

Yuan Shi, Aurélien Bellet+1 more|arXiv (Cornell University)|Apr 15, 2014

Domain Adaptation and Few-Shot Learning参考文献 29被引用 19

一句话总结

本文提出稀疏组合度量学习（SCML），这是一种统一框架，通过从训练数据中学习局部判别性、低秩基度量的稀疏组合来学习度量。通过使用诱导稀疏性的正则化，SCML减少了参数数量，实现了高效的优化，并支持对新数据的合理泛化——在全局、多任务和局部度量学习中均实现了最先进性能，且具备更高的可扩展性和对过拟合的鲁棒性。

ABSTRACT

We propose a new approach for metric learning by framing it as learning a sparse combination of locally discriminative metrics that are inexpensive to generate from the training data. This flexible framework allows us to naturally derive formulations for global, multi-task and local metric learning. The resulting algorithms have several advantages over existing methods in the literature: a much smaller number of parameters to be estimated and a principled way to generalize learned metrics to new testing data points. To analyze the approach theoretically, we derive a generalization bound that justifies the sparse combination. Empirically, we evaluate our algorithms on several datasets against state-of-the-art metric learning methods. The results are consistent with our theoretical findings and demonstrate the superiority of our approach in terms of classification performance and scalability.

研究动机与目标

• 为解决现有度量学习方法的局限性，这些方法通常容易过拟合，随维度增加而扩展性差，且缺乏对新数据的合理泛化能力。
• 在单一稀疏组合框架下统一全局、多任务和局部度量学习。
• 通过仅学习一小部分基度量来减少需估计的参数数量，从而提高计算效率和泛化能力。
• 通过学习到的变换函数实现在测试时的实例特定度量预测。

提出的方法

• 该方法使用诸如局部数据邻域上的Fisher判别分析等技术，学习一组低秩、局部判别性基度量。
• 全局度量学习被表述为在基集上学习一个稀疏权重向量，使用l1正则化以促进稀疏性。
• 通过组稀疏性实现多任务度量学习，其中所有任务共享相同的活跃基子集，但具有任务特定的权重。
• 局部度量学习通过学习一个变换函数T(x)，将任意输入x映射到一个稀疏权重向量，以定义其局部度量，从而实现实例特定的度量。
• 使用带近端算子的随机次梯度下降进行优化，避免了昂贵的半正定投影。
• 该框架通过使用相同的稀疏权重函数组合学习到的基元素，支持对新数据点的泛化。

实验结果

研究问题

• RQ1 稀疏组合的局部学习基度量是否在分类准确性和可扩展性方面优于密集的全局马氏度量？
• RQ2 如何在一个统一的优化方案中，使单一框架有效支持全局、多任务和局部度量学习？
• RQ3 能否开发一种计算实例特定度量的合理方法，使其在不发生过拟合的情况下对测试数据具有良好泛化能力？
• RQ4 即使基集较大，基度量组合中的稀疏性是否仍能带来更好的泛化性能？
• RQ5 与现有最先进度量学习算法相比，该方法在高维数据上的可扩展性如何？

主要发现

• SCML-Local在所有数据集上的平均排名达到最优（1.2），显著优于SCML-Global和其他最先进方法。
• 在BBC数据集上，SCML-Local仅用约8分钟完成训练——比MM-LMNN快5倍，比PLML快15倍，且避免了过拟合。
• SCML-Local通过使用更少的参数，在小数据集（如Vehicle和Vowel）上降低了测试误差，而GLML由于受限于高斯假设而表现较差。
• 所选基元素的数量随基集大小呈次线性增长，且随着基集增大，测试误差持续下降，支持了泛化界。
• 可视化结果表明，学习到的度量变化平滑，且由判别性信息驱动，而不仅依赖平滑性，从而在决策边界附近提升了鲁棒性。
• SCML-Local在基准数据集上的准确率与核SVM相当，展示了强大的泛化能力。