[论文解读] Recover and Identify: A Generative Dual Model for Cross-Resolution Person Re-Identification

Yu-Jhe Li, Yunchun Chen+3 more|arXiv (Cornell University)|Aug 16, 2019

Video Surveillance and Tracking Methods参考文献 43被引用 15

一句话总结

该论文提出CAD-Net，一种生成式双判别对抗网络，能够联合学习分辨率无关特征，并从低分辨率行人重识别（re-ID）查询中恢复高分辨率细节。通过端到端训练结合对抗损失、重建损失和分类损失，其在五个基准测试中均达到最先进性能，尤其在未见过的分辨率下表现优异，且无需预设上采样因子。

ABSTRACT

Person re-identification (re-ID) aims at matching images of the same identity across camera views. Due to varying distances between cameras and persons of interest, resolution mismatch can be expected, which would degrade person re-ID performance in real-world scenarios. To overcome this problem, we propose a novel generative adversarial network to address cross-resolution person re-ID, allowing query images with varying resolutions. By advancing adversarial learning techniques, our proposed model learns resolution-invariant image representations while being able to recover the missing details in low-resolution input images. The resulting features can be jointly applied for improving person re-ID performance due to preserving resolution invariance and recovering re-ID oriented discriminative details. Our experiments on five benchmark datasets confirm the effectiveness of our approach and its superiority over the state-of-the-art methods, especially when the input resolutions are unseen during training.

研究动机与目标

• 解决真实世界行人重识别中查询图像常为低分辨率（LR）而图库图像为高分辨率（HR）的分辨率不匹配问题。
• 克服现有方法需预定义上采样因子且在未见分辨率下失效的局限性。
• 开发一种统一的、可端到端训练的模型，同时学习分辨率无关表征并恢复判别性高分辨率细节，以提升重识别性能。

提出的方法

• 提出一种跨分辨率生成对抗网络（CRGAN），通过双流生成器和两个判别器，从低分辨率输入生成高分辨率图像。
• 集成三种关键损失：特征级对抗损失（$\mathcal{L}_{\mathrm{adv}}^{\mathcal{D}_{F}}$）以强制学习分辨率无关特征，图像级对抗损失（$\mathcal{L}_{\mathrm{adv}}^{\mathcal{D}_{I}}$）以提升图像真实感，以及重建损失（$\mathcal{L}_{\mathrm{rec}}$）以保留高分辨率细节。
• 使用分类损失（$\mathcal{L}_{\mathrm{cls}}$）确保行人重识别所需的判别性特征学习。
• 端到端训练整个模型，实现图像恢复与重识别性能的联合优化。
• 在特征图上使用全局平均池化以提取分辨率无关的嵌入向量用于评估。

实验结果

研究问题

• RQ1 单一生成模型能否在无需预设上采样因子的情况下，有效学习行人重识别的分辨率无关表征？
• RQ2 生成对抗网络能否从低分辨率输入中有效恢复面向重识别的高分辨率细节？
• RQ3 与串行流水线相比，图像恢复与重识别的联合优化是否能提升性能？
• RQ4 该模型能否泛化到训练期间未见过的低分辨率查询？
• RQ5 各损失组件（对抗、重建、分类）对最终重识别性能的相对贡献如何？

主要发现

• CAD-Net在MLR-CUHK03数据集上达到82.1%的Rank-1准确率，优于最先进方法，尤其在未见分辨率下表现突出。
• 消融研究显示，若移除特征级对抗损失（$\mathcal{L}_{\mathrm{adv}}^{\mathcal{D}_{F}}$），Rank-1准确率降至67.6%，证明其在学习分辨率无关特征中的关键作用。
• 若排除重建损失（$\mathcal{L}_{\mathrm{rec}}$），图像质量（PSNR: 12.9）和重识别性能（Rank-1: 66.7%）均显著下降，证实其在细节恢复中的重要性。
• 若移除分类损失（$\mathcal{L}_{\mathrm{cls}}$），重识别性能接近为零（Rank-1: 1.7%），证明其对判别性特征学习的必要性。
• 可视化结果表明，来自同一身份但下采样率不同（包括未见过的r=8）的特征被良好聚类，验证了对未见分辨率的泛化能力。
• 该模型在MLR-CUHK03测试集上实现高感知质量，SSIM为0.73，PSNR为20.2，表明高分辨率图像生成效果良好。