[论文解读] Optimizing Ranking Measures for Compact Binary Code Learning

Guosheng Lin, Chunhua Shen+1 more|arXiv (Cornell University)|Jul 4, 2014

Advanced Image and Video Retrieval Techniques参考文献 25被引用 6

一句话总结

本文提出 StructHash，一种新颖的框架，通过结合列生成与切割平面方法，直接优化 AUC 和 NDCG 等多变量排序度量，以实现紧凑二值编码学习，从而处理指数级庞大的约束集。该方法在图像检索基准上实现了最先进性能，使学习目标与检索评估标准直接对齐。

ABSTRACT

Hashing has proven a valuable tool for large-scale information retrieval. Despite much success, existing hashing methods optimize over simple objectives such as the reconstruction error or graph Laplacian related loss functions, instead of the performance evaluation criteria of interest---multivariate performance measures such as the AUC and NDCG. Here we present a general framework (termed StructHash) that allows one to directly optimize multivariate performance measures. The resulting optimization problem can involve exponentially or infinitely many variables and constraints, which is more challenging than standard structured output learning. To solve the StructHash optimization problem, we use a combination of column generation and cutting-plane techniques. We demonstrate the generality of StructHash by applying it to ranking prediction and image retrieval, and show that it outperforms a few state-of-the-art hashing methods.

研究动机与目标

• 弥合标准哈希目标（如重建误差）与实际检索性能度量（如 AUC 与 NDCG）之间的差距。
• 开发一种可泛化的框架，直接优化哈希中的复杂多变量评估标准。
• 实现对涉及指数级约束的基于排序的目标的高效优化。
• 证明直接优化检索度量相较于通过简单损失间接优化的优势。
• 将该框架扩展至核化哈希，以在大规模数据集上提升性能。

提出的方法

• StructHash 将二值编码学习建模为结构化输出学习问题，其中输出是一组针对排序性能优化的二值编码。
• 采用结构化 SVM 框架来建模二值编码的联合预测，损失函数基于 AUC 与 NDCG，以反映检索质量。
• 通过结合列生成与切割平面技术的混合方法求解优化问题，以处理潜在约束的指数级数量。
• 列生成在训练过程中动态识别最违反的约束，从而降低计算负担。
• 切割平面方法通过迭代添加改进目标函数的约束来逐步优化解。
• 通过将随机特征映射应用于输入数据，支持核化，从而在哈希编码空间中实现非线性决策边界。

实验结果

研究问题

• RQ1 与间接优化简单损失相比，直接优化 AUC 与 NDCG 等多变量排序度量是否能在二值哈希中带来更好的性能？
• RQ2 当优化问题涉及指数级约束时，如何高效求解？
• RQ3 所提出的框架是否能在不同类型的数据集和检索评估度量上实现泛化？
• RQ4 该方法的核化版本是否能在大规模图像检索任务中进一步提升性能？
• RQ5 在 NDCG、mAP 与 Precision-at-K 指标上，StructHash 与最先进哈希方法相比表现如何？

主要发现

• 在包括 CIFAR10、MNIST 以及大规模数据集如 Flickr-1M 与 SIFT-1M 在内的 9 个数据集上，使用 NDCG 损失的 StructHash 方法优于其他监督与无监督哈希方法。
• 在 NDCG 指标上，使用 NDCG 损失的 StructHash 在所有比特长度（最高达 64 位）上均表现最佳，尤其在位置敏感检索中表现突出。
• 该方法在 Precision-at-K、mAP 与 Precision-Recall 指标上优于基于三元组的 CGH 方法，证实了优化位置敏感度量的优势。
• 核化 StructHash 在大规模数据集上的性能优于 KSH，证明了结合核方法与直接排序优化的有效性。
• 该框架成功缩小了学习目标与评估标准之间的差距，从而在多个指标上提升了检索质量。
• 即使在大规模数据集上仅使用 2000 个训练样本，StructHash 仍保持强大性能，表明其具备鲁棒性与可扩展性。