[论文解读] On the Evaluation Metric for Hashing

Qing-Yuan Jiang, Mingwei Li+1 more|arXiv (Cornell University)|May 27, 2019

Advanced Image and Video Retrieval Techniques参考文献 28被引用 4

一句话总结

本文识别出现有哈希评估指标在桶搜索中的关键缺陷，特别是MAP和precision@R等指标忽略了检索时间，且对汉明半径不敏感。作者提出RAMAP（Radius Aware Mean Average Precision）这一新指标，整合了所有汉明半径下的检索效率与全局性能，通过合成数据和真实世界实验表明，RAMAP相比传统指标提供了更可靠、更一致的评估结果。

ABSTRACT

Due to its low storage cost and fast query speed, hashing has been widely used for large-scale approximate nearest neighbor (ANN) search. Bucket search, also called hash lookup, can achieve fast query speed with a sub-linear time cost based on the inverted index table constructed from hash codes. Many metrics have been adopted to evaluate hashing algorithms. However, all existing metrics are improper to evaluate the hash codes for bucket search. On one hand, all existing metrics ignore the retrieval time cost which is an important factor reflecting the performance of search. On the other hand, some of them, such as mean average precision (MAP), suffer from the uncertainty problem as the ranked list is based on integer-valued Hamming distance, and are insensitive to Hamming radius as these metrics only depend on relative Hamming distance. Other metrics, such as precision at Hamming radius R, fail to evaluate global performance as these metrics only depend on one specific Hamming radius. In this paper, we first point out the problems of existing metrics which have been ignored by the hashing community, and then propose a novel evaluation metric called radius aware mean average precision (RAMAP) to evaluate hash codes for bucket search. Furthermore, two coding strategies are also proposed to qualitatively show the problems of existing metrics. Experiments demonstrate that our proposed RAMAP can provide more proper evaluation than existing metrics.

研究动机与目标

• 识别并系统分析现有哈希评估指标的不足，特别是在桶搜索背景下的表现。
• 解决当前指标中遗漏检索时间成本的问题，该因素对真实世界性能评估至关重要。
• 解决MAP等指标对汉明半径不敏感的问题，以及precision@R在全局性能评估上的缺失。
• 提出一种新且全面的评估指标，反映桶搜索中准确率与效率的综合表现。
• 通过定性编码策略和实证实验验证所提指标的优越性。

提出的方法

• 提出RAMAP，一种新颖的评估指标，通过在所有汉明半径上引入汉明半径作为加权因子，扩展MAP。
• 将RAMAP定义为所有汉明半径上平均平均精度（MAP）的加权平均，其中权重基于数据集中汉明距离的分布。
• 采用半径感知加权机制，强调在整个汉明距离谱上的性能表现，而非仅关注单一半径。
• 设计两种编码策略——LSH vs. LSH SE，以及启发式 vs. 学习型编码，以定性展示现有指标的局限性。
• 从学习得到的哈希码构建倒排索引表，以测量检索时间与空桶率，并将其整合进评估框架。
• 在多个数据集和不同码长下，将RAMAP与MAP、precision@R和召回率进行比较，以验证其鲁棒性与一致性。

实验结果

研究问题

• RQ1 为何现有指标如MAP和precision@R在桶搜索中无法对哈希算法进行可靠比较？
• RQ2 为何当前指标中遗漏检索时间成本会误导哈希性能的评估？
• RQ3 为何MAP对汉明半径不敏感？这一特性如何影响算法比较？
• RQ4 如何通过单一指标有效评估所有汉明半径下的检索准确率与效率？
• RQ5 能否通过整合全局性能与检索时间的新指标，实现比现有方法更一致、更可靠的评估？

主要发现

• RAMAP在一致排名哈希算法方面优于MAP和precision@R，其中DSH表现最佳，12-DSH表现最差，与理论预期一致。
• precision@R因在不同半径下结果冲突而无法提供清晰排名——例如，4-DSH在高半径下优于DSH，但在低半径下表现较差。
• 检索时间成本随汉明半径呈指数级增长，尽管高半径下的precision值较高，但实际应用中不切实际，而RAMAP通过时间感知加权机制对此进行了考量。
• 随着搜索半径增加，空桶数量显著上升，尤其在12-DSH中更为明显，表明桶利用率低下，这一因素被RAMAP所捕捉。
• 在CIFAR-10数据集的实验中，RAMAP正确识别出DSH为最佳方法，而MAP因数值几乎完全相同而无法区分不同方法。
• 与MAP相比，RAMAP在不同码长（48位和64位）下均表现出确定性与一致性，而MAP则变化极小，缺乏区分能力。