[论文解读] Temporal Model Adaptation for Person Re-Identification

Niki Martinel, Abir Das+2 more|arXiv (Cornell University)|Jul 25, 2016

Video Surveillance and Tracking Methods参考文献 34被引用 13

一句话总结

本文提出了一种用于行人重识别的时序模型自适应框架，支持仅需极少人工标注的增量学习。通过结合基于随机ADMM的相似性-非相似性度量学习方法与基于图的主动学习策略，以选择最具信息量的查询-图库配对，该方法在三个数据集上实现了最先进性能，仅使用15%的人工标注量——相比以往在完整数据上训练的方法，标注成本降低80%，且在PRID450S数据集上的rank-1准确率提升超过8%。

ABSTRACT

Person re-identification is an open and challenging problem in computer vision. Majority of the efforts have been spent either to design the best feature representation or to learn the optimal matching metric. Most approaches have neglected the problem of adapting the selected features or the learned model over time. To address such a problem, we propose a temporal model adaptation scheme with human in the loop. We first introduce a similarity-dissimilarity learning method which can be trained in an incremental fashion by means of a stochastic alternating directions methods of multipliers optimization procedure. Then, to achieve temporal adaptation with limited human effort, we exploit a graph-based approach to present the user only the most informative probe-gallery matches that should be used to update the model. Results on three datasets have shown that our approach performs on par or even better than state-of-the-art approaches while reducing the manual pairwise labeling effort by about 80%.

研究动机与目标

• 解决在长时间内对持续收集的视觉数据动态适应行人重识别模型的挑战。
• 降低通常用于通过新数据更新模型所需的人工标注成本。
• 实现在无需从头开始重新训练的情况下持续改进模型，确保长期性能稳定性。
• 识别并优先选择最具信息量的查询-图库匹配对以进行人工标注，从而最大化学习效率。
• 在最小化人工标注工作量的前提下，实现与最先进方法相当或更优的性能。

提出的方法

• 提出一种低秩稀疏相似性-非相似性度量学习方法，用于为相似与非相似图像对学习判别性嵌入。
• 使用随机交替方向乘子法（ADMM）优化方法进行增量训练，实现高效的在线更新。
• 引入基于图的主动学习策略，利用主导集聚类方法识别每个查询的最具信息量的图库候选。
• 仅选择最模糊或高不确定性的查询-图库配对进行人工标注，从而在最小化标注工作量的同时最大化模型性能提升。
• 使用Platt校准将匹配得分转化为概率，以指导主动学习循环中配对的选择。
• 将人工反馈应用于所选配对以增量方式更新模型，确保对环境变化的鲁棒性与适应性。

实验结果

研究问题

• RQ1 是否能够仅通过极少人工标注的增量更新，有效实现行人重识别模型的长期自适应？
• RQ2 如何自动选择最具信息量的查询-图库配对，以实现单位标注成本下的最大模型性能提升？
• RQ3 基于图划分与不确定性估计的主动学习策略，是否在准确率与标注效率方面优于随机或完全监督标注？
• RQ4 与批量训练相比，使用随机ADMM的增量学习是否能保持或提升性能，同时降低计算成本？
• RQ5 模型在多大程度上对人工标注错误具有鲁棒性？标注工作量如何随错误率变化？

主要发现

• 在VIPeR数据集上，该方法仅使用5%的人工标注量，即实现了41.46%的rank-1准确率，优于完全监督基线方法（39.87%）且标注量更少。
• 在PRID450S数据集上，当使用仅15%的标注数据训练时，该方法将先前最佳rank-1结果提升了超过8%，并超越了在100%标注数据上训练的最先进方法。
• 基于图的主动学习策略相比完全监督方法，将所需人工标注量减少了约80%，同时保持或提升了性能。
• 基于随机ADMM的训练方法实现了与确定性ADMM（34.84 rank-1）相当的性能（35.15 rank-1），但训练时间显著缩短（2948秒 vs 12051秒），更适用于持续学习场景。
• 即使在人工标注错误率高达15%的情况下，模型仍保持有效性，表明其对真实部署中噪声反馈具有鲁棒性。
• 当使用无监督或半监督选择标准时，性能因误标率过高而下降，证实了所提主动学习方法的优越性。