[论文解读] Similarity Learning for High-Dimensional Sparse Data

Kuan Liu, Aurélien Bellet+1 more|arXiv (Cornell University)|Nov 10, 2014

Face and Expression Recognition参考文献 30被引用 22

一句话总结

本文提出 HD-SL，一种针对高维稀疏数据的新型相似性学习方法，将相似性建模为秩一矩阵的稀疏凸组合，使用近似 Frank-Wolfe 算法迭代添加特征对。该方法在极端稀疏性（0.0001% 非零条目）下实现最先进性能，实现快速、可解释且鲁棒的相似性计算，无需降维，优于对角矩阵和完整度量学习基线方法。

ABSTRACT

A good measure of similarity between data points is crucial to many tasks in machine learning. Similarity and metric learning methods learn such measures automatically from data, but they do not scale well respect to the dimensionality of the data. In this paper, we propose a method that can learn efficiently similarity measure from high-dimensional sparse data. The core idea is to parameterize the similarity measure as a convex combination of rank-one matrices with specific sparsity structures. The parameters are then optimized with an approximate Frank-Wolfe procedure to maximally satisfy relative similarity constraints on the training data. Our algorithm greedily incorporates one pair of features at a time into the similarity measure, providing an efficient way to control the number of active features and thus reduce overfitting. It enjoys very appealing convergence guarantees and its time and memory complexity depends on the sparsity of the data instead of the dimension of the feature space. Our experiments on real-world high-dimensional datasets demonstrate its potential for classification, dimensionality reduction and data exploration.

研究动机与目标

• 为解决在高维稀疏数据中学习有效相似性度量的挑战，因为标准度量学习方法因计算成本过高和过拟合而失效。
• 在不进行降维的前提下，保持相似性学习在稀疏高维数据中的可扩展性和可解释性。
• 开发一种方法，直接在原始特征空间中学习稀疏的双线性相似性函数，仅关注相关特征对。
• 提供收敛性保证，并实现与特征维度无关的高效计算，利用数据稀疏性。
• 在分类和降维等下游任务中，实现可解释的特征交互发现和鲁棒性能。

提出的方法

• 将相似性矩阵 M 参数化为秩一矩阵的凸组合，每个矩阵对应一对特征，并具有特定的稀疏结构。
• 使用近似 Frank-Wolfe 算法，贪婪地逐次选择并整合一个特征对到相似性函数中。
• 优化相似性参数，以满足训练数据上的相对相似性约束（例如，x 比 z 更相似于 y）。
• 通过早停控制过拟合，自然限制活跃特征对的数量。
• 确保时间与内存复杂度仅依赖于数据稀疏性，而非完整维度 d。
• 利用 M 的低秩稀疏结构，实现快速相似性计算和特征交互的可解释性。

实验结果

研究问题

• RQ1 能否设计一种相似性学习方法，高效扩展至高维稀疏数据，而无需依赖降维？
• RQ2 如何在原始特征空间中学习双线性相似性函数，同时保持计算与内存效率？
• RQ3 该方法能否在学习到的相似性矩阵中实现极端稀疏性，从而实现可解释性和快速推理？
• RQ4 基于贪心 Frank-Wolfe 的特征对选择是否相比完整矩阵或对角学习方法，能带来更好的泛化性和鲁棒性？
• RQ5 所学相似性函数在无需投影的情况下，能在多大程度上支持下游任务（如分类和降维）？

主要发现

• HD-SL 在真实世界高维数据集（如 dexter、dorothea 和 rcv1）上实现了最先进分类准确率，优于在降维空间中进行的对角学习和完整度量学习方法。
• 所学习的相似性矩阵极为稀疏，仅含 0.0001% 的非零条目，支持快速计算和特征交互的可解释性。
• HD-SL 在噪声数据集（如 dexter 和 rcv1_4）上收敛至稳定解且无过拟合现象，而 PCA+OASIS 显示出过拟合迹象。
• 在降维任务中，HD-SL 的性能与 PCA 或随机投影相当或更优，尤其在噪声环境下表现更优，并在投影维度增加时保持鲁棒性。
• HD-SL 所用特征数显著少于对角-ℓ₁ 方法，表明通过非对角成对交互实现了更优的建模能力。
• 该方法的时间与内存复杂度依赖于数据稀疏性，而非特征维度，使其适用于高达 100,000 个特征的数据集。