[论文解读] Weakly Supervised Person Re-ID: Differentiable Graphical Learning and A New Benchmark

Guangrun Wang, Guangcong Wang+4 more|arXiv (Cornell University)|Apr 8, 2019

Video Surveillance and Tracking Methods参考文献 95被引用 6

一句话总结

本文提出一种基于可微图学习的弱监督行人重识别方法，通过袋级标注生成可靠的伪图像级标签，从而在新构建的大规模基准数据集SYSU-30k上进行训练。该数据集包含30,000名个体和2960万张图像。该方法在SYSU-30k及其他数据集上均达到最先进性能，表明结合图模型的弱监督方法可在显著降低标注成本的前提下，实现与全监督模型相当或更优的性能。

ABSTRACT

Person re-identification (Re-ID) benefits greatly from the accurate annotations of existing datasets (e.g., CUHK03 [1] and Market-1501 [2]), which are quite expensive because each image in these datasets has to be assigned with a proper label. In this work, we ease the annotation of Re-ID by replacing the accurate annotation with inaccurate annotation, i.e., we group the images into bags in terms of time and assign a bag-level label for each bag. This greatly reduces the annotation effort and leads to the creation of a large-scale Re-ID benchmark called SYSU-30$k$. The new benchmark contains $30k$ individuals, which is about $20$ times larger than CUHK03 ($1.3k$ individuals) and Market-1501 ($1.5k$ individuals), and $30$ times larger than ImageNet ($1k$ categories). It sums up to 29,606,918 images. Learning a Re-ID model with bag-level annotation is called the weakly supervised Re-ID problem. To solve this problem, we introduce a differentiable graphical model to capture the dependencies from all images in a bag and generate a reliable pseudo label for each person image. The pseudo label is further used to supervise the learning of the Re-ID model. When compared with the fully supervised Re-ID models, our method achieves state-of-the-art performance on SYSU-30$k$ and other datasets. The code, dataset, and pretrained model will be available at \url{https://github.com/wanggrun/SYSU-30k}.

研究动机与目标

• 通过基于时间分组的袋级标注替代图像级标注，解决行人重识别中图像级标注的高成本问题。
• 开发一种弱监督Re-ID框架，无需强图像级标签即可学习判别性表征。
• 构建一个新的大规模基准数据集SYSU-30k，以支持未来弱监督行人Re-ID研究。
• 通过可微图模型建模图像间依赖关系，实现从弱标注数据中有效学习。

提出的方法

• 基于时间邻近性将图像分组为袋，每个袋被赋予表示其中包含身份集合的袋级标签。
• 引入一种可微图模型，利用一元项（初始深度特征）和成对项（特征与外观相似性）捕捉袋内图像间的依赖关系。
• 通过优化图模型精炼分类概率，为袋内每张图像生成伪图像级标签。
• 利用这些伪标签监督Re-ID模型的训练，实现弱监督学习。
• 框架采用深度度量网络（如MGN）实现端到端训练，其中图模型具备可微性，可通过反向传播进行优化。
• 该方法仅使用袋级标签在SYSU-30k数据集上进行训练，无需个体图像级标注。

实验结果

研究问题

• RQ1 仅使用袋级标注而非图像级标签，弱监督Re-ID模型能否实现具有竞争力的性能？
• RQ2 可微图模型能否有效从模糊的袋级监督中生成可靠个体图像的伪标签？
• RQ3 像SYSU-30k这样大规模的弱标注基准是否能提升行人Re-ID任务中的泛化能力与性能？
• RQ4 在准确率与计算成本方面，弱监督模型与全监督模型相比表现如何？

主要发现

• 所提出的弱监督方法W-MGN在SYSU-30k基准上达到72.7%的rank-1准确率，超越多个全监督模型。
• 即使仅使用袋级标注进行训练，W-MGN在SYSU-30k上仍达到29.5%的rank-1准确率，优于从CUHK03微调的全监督模型。
• 弱监督方法的计算成本（每100张图像训练耗时0.2453秒）与全监督方法（每100张图像训练耗时0.2448秒）几乎完全相同。
• 可微图模型成功捕捉了图像间的依赖关系，即使缺乏强监督，也能实现准确的伪标签生成。
• SYSU-30k基准数据集包含30,000名个体和2960万张图像，是迄今最大的行人Re-ID数据集，支持弱监督学习。
• 定性结果表明，该模型泛化能力良好，即使在视觉高度相似的复杂情况下，正确匹配也常被排在前列。