[论文解读] Re-identification = Retrieval + Verification: Back to Essence and Forward with a New Metric

Zheng Wang, Xin Yuan+4 more|arXiv (Cornell University)|Nov 23, 2020

Advanced Image and Video Retrieval Techniques参考文献 17被引用 8

一句话总结

本文提出了真实开放集重识别度量（Genuine Open-set re-ID Metric, GOM），一种统一的评估框架，将开放集重识别场景下的检索与验证任务整合在一起。GOM通过mReP（平均重识别精确率）和mFR（平均误报率）等子度量，在两项任务间实现性能平衡，展现出与人类判断更高的契合度，并揭示了mAP和CMC等现有度量的局限性。

ABSTRACT

Re-identification (re-ID) is currently investigated as a closed-world image retrieval task, and evaluated by retrieval based metrics. The algorithms return ranking lists to users, but cannot tell which images are the true target. In essence, current re-ID overemphasizes the importance of retrieval but underemphasizes that of verification, extit{i.e.}, all returned images are considered as the target. On the other hand, re-ID should also include the scenario that the query identity does not appear in the gallery. To this end, we go back to the essence of re-ID, extit{i.e.}, a combination of retrieval and verification in an open-set setting, and put forward a new metric, namely, Genuine Open-set re-ID Metric (GOM). GOM explicitly balances the effect of performing retrieval and verification into a single unified metric. It can also be decomposed into a family of sub-metrics, enabling a clear analysis of re-ID performance. We evaluate the effectiveness of GOM on the re-ID benchmarks, showing its ability to capture important aspects of re-ID performance that have not been taken into account by established metrics so far. Furthermore, we show GOM scores excellent in aligning with human visual evaluation of re-ID performance. Related codes are available at https://github.com/YuanXinCherry/Person-reID-Evaluation

研究动机与目标

• 解决当前重识别评估度量仅关注检索而忽略验证和开放集条件的局限性。
• 提出一种统一度量，以平衡且全面的方式评估检索与验证性能。
• 通过针对不同应用优先级（如验证 vs. 检索 vs. 开放集鲁棒性）定制的子度量，实现更优的算法选择。
• 使度量性能更贴近人类对重识别质量的视觉评估。
• 推动重识别社区采用超越mAP和CMC的更全面评估标准。

提出的方法

• 提出GOM作为统一度量，结合检索与验证，显式建模开放集重识别场景，其中查询身份可能不在图库中。
• 引入两个核心子度量：用于验证性能的mReP（平均重识别精确率）和用于开放集鲁棒性的mFR（平均误报率）。
• 使用mReP评估在不同阈值下顶级匹配的精确率，其中mReP_max表示最佳性能。
• 引入MREP（最大重识别精确率）和MFR（最大误报率）作为方法比较的标量汇总统计量。
• 采用基于阈值的验证流程，评估返回图像中哪些为真正例，从而实现超越仅基于排序的度量评估。
• 通过用户研究验证GOM，将度量得分与人类对重识别质量的视觉评估进行对比。

实验结果

研究问题

• RQ1 现有重识别度量为何无法全面捕捉重识别性能，特别是在验证和开放集场景中？
• RQ2 所提出的GOM度量在多大程度上与人类视觉判断一致？
• RQ3 在不同评估标准（如验证、检索、开放集鲁棒性）下，哪类重识别方法表现最佳？
• RQ4 GOM能否揭示mAP或CMC无法检测到的SOTA方法之间的性能差异？
• RQ5 GOM如何改善现实应用中因优先级不同（如最小化误报 vs. 最大化正确匹配）而带来的算法选择？

主要发现

• GOM与人类视觉评估高度一致，评分最高的方法（AGW）也取得了最佳的MREP和MFR得分。
• FastReID与AGW分别取得最高的mReP_max（79.4与81.4），表明在最优阈值下验证性能最强。
• AGW取得最高的MREP（55.7）与MFR（55.7），表明其在开放集场景中最具鲁棒性，受噪声影响最小。
• 用户研究显示，GOM得分更高（尤其是mReP与MREP）的方法，其平均搜索时间更短，人类评分更高。
• 现有度量如mAP与CMC无法区分方法间差异，而这些差异在GOM通过验证与开放集分析中被揭示。
• BagTricks在MREP与MFR上得分最高，表明其在检索与开放集鲁棒性方面表现优异，但在人类评估中被AGW超越，凸显了GOM捕捉此类细微差别的能力。