[论文解读] Sample complexity of learning Mahalanobis distance metrics

Nakul Verma, Kristin Branson|arXiv (Cornell University)|May 11, 2015

Human Pose and Action Recognition参考文献 19被引用 20

一句话总结

本文为监督式马氏距离度量学习建立了类似PAC的样本复杂度边界，表明泛化误差与表示维度成正比，除非做出结构假设。提出了一种范数正则化的度量学习算法，可自适应于数据的内在复杂度，在高噪声环境下提升泛化性能，并在基准数据集上得到验证。

ABSTRACT

Metric learning seeks a transformation of the feature space that enhances prediction quality for the given task at hand. In this work we provide PAC-style sample complexity rates for supervised metric learning. We give matching lower- and upper-bounds showing that the sample complexity scales with the representation dimension when no assumptions are made about the underlying data distribution. However, by leveraging the structure of the data distribution, we show that one can achieve rates that are fine-tuned to a specific notion of intrinsic complexity for a given dataset. Our analysis reveals that augmenting the metric learning optimization criterion with a simple norm-based regularization can help adapt to a dataset's intrinsic complexity, yielding better generalization. Experiments on benchmark datasets validate our analysis and show that regularizing the metric can help discern the signal even when the data contains high amounts of noise.

研究动机与目标

• 正式分析在PAC风格泛化边界下监督度量学习的样本复杂度。
• 在不作分布假设的前提下，确定样本复杂度对数据维度和内在结构的依赖关系。
• 提出一种能自适应数据分布内在复杂度的正则化策略，以提升泛化性能。
• 通过基准数据集上的实验，对理论推导的边界进行验证。
• 证明在度量学习优化中引入范数正则化可提高对高噪声水平的鲁棒性。

提出的方法

• 提出两种通用的度量学习框架：基于距离的和基于分类器的，二者均建立在经验风险最小化基础上。
• 推导出样本复杂度的匹配上下界，表明在无结构性假设时，其依赖于表示维度D。
• 提出一种偏差-方差平衡算法，通过联合最小化经验误差和类内方差，实现对固定复杂度度量的优化。
• 将基于范数的正则化应用于度量学习目标，将其形式化为结构风险最小化问题。
• 利用Rademacher复杂度和高斯复杂度边界，结合对称化与链式技术，推导出泛化误差率。
• 通过对不同复杂度d的度量类使用并集界，推导出依赖于数据集的样本复杂度边界。

实验结果

研究问题

• RQ1 当对数据分布不作任何假设时，马氏距离度量学习的样本复杂度如何随表示维度D变化？
• RQ2 通过利用底层数据分布的内在复杂度d，能否降低样本复杂度？
• RQ3 在度量学习优化准则中引入范数正则化对泛化性能有何影响？
• RQ4 所提出的正则化度量学习算法与标准ERM相比，在高噪声环境下表现如何？
• RQ5 能否在真实基准数据集上对理论样本复杂度边界进行经验验证？

主要发现

• 当对数据分布不作任何假设时，样本复杂度与表示维度D呈线性关系。
• 建立了匹配的上下界，确认在一般情况下D的依赖关系是必要的。
• 通过利用内在复杂度d，样本复杂度可降低为与d成比例，而非D，从而获得更紧的边界。
• 所提出的范数正则化度量学习算法在泛化性能上优于标准ERM，尤其在高噪声环境下表现更优。
• 在基准数据集上的实验表明，范数正则化可提升信号检测能力并增强对噪声的鲁棒性。
• 理论分析得到经验验证，表明正则化算法能有效适应数据集的内在复杂度。