[论文解读] Structured Domain Adaptation with Online Relation Regularization for Unsupervised Person Re-ID

Yixiao Ge, Feng Zhu+4 more|arXiv (Cornell University)|Mar 14, 2020

Video Surveillance and Tracking Methods被引用 10

一句话总结

本文提出一种结构化域自适应框架，并引入在线关系一致性正则化，用于无监督行人重识别，通过在图像到图像的翻译过程中保持样本间特征相似性，提升域迁移性能。该方法实现了最先进性能，在 VisDA-2020 挑战赛中排名第二，其生成的翻译图像更具一致性且保留身份信息，从而增强了伪标签训练的效果。

ABSTRACT

Unsupervised domain adaptation (UDA) aims at adapting the model trained on a labeled source-domain dataset to an unlabeled target-domain dataset. The task of UDA on open-set person re-identification (re-ID) is even more challenging as the identities (classes) do not have overlap between the two domains. One major research direction was based on domain translation, which, however, has fallen out of favor in recent years due to inferior performance compared to pseudo-label-based methods. We argue that the domain translation has great potential on exploiting the valuable source-domain data but existing methods did not provide proper regularization on the translation process. Specifically, previous methods only focus on maintaining the identities of the translated images while ignoring the inter-sample relations during translation. To tackle the challenges, we propose an end-to-end structured domain adaptation framework with an online relation-consistency regularization term. During training, the person feature encoder is optimized to model inter-sample relations on-the-fly for supervising relation-consistency domain translation, which in turn, improves the encoder with informative translated images. The encoder can be further improved with pseudo labels, where the source-to-target translated images with ground-truth identities and target-domain images with pseudo identities are jointly used for training. In the experiments, our proposed framework is shown to achieve state-of-the-art performance on multiple UDA tasks of person re-ID. With the synthetic-to-real translated images from our structured domain-translation network, we achieved second place in the Visual Domain Adaptation Challenge (VisDA) in 2020.

研究动机与目标

• 解决源域与目标域无身份重叠的开放集行人重识别中的无监督域自适应挑战。
• 通过在潜在特征空间中保持样本间的语义关系，超越仅基于身份的约束，改进域迁移方法。
• 开发一个端到端框架，联合优化域迁移网络与重识别编码器，采用在线关系正则化。
• 生成更具信息量、身份一致的翻译图像，以增强目标域上的伪标签训练。
• 在标准无监督域自适应基准和 VisDA-2020 挑战赛中展示方法的泛化性与有效性。

提出的方法

• 提出结构化域翻译（SDT）网络，将源域图像翻译为目标域风格，同时保持样本间特征关系。
• 引入在线关系一致性正则化项，强制源图像与其翻译对应物的特征嵌入保持相似性。
• 采用双编码器结构：一个用于源域，一个用于目标域，目标域编码器在翻译过程中提供动态关系监督。
• 通过对比损失形式的对比目标应用关系一致性损失，促使翻译后潜在空间中相似样本保持接近。
• 联合训练域翻译网络与重识别编码器，使用真实标签的源域图像和伪标签的目标域图像。
• 采用两阶段训练流程：先独立预训练编码器，再联合训练 SDT 网络并引入在线关系一致性正则化。

实验结果

研究问题

• RQ1 在域迁移过程中保持样本间特征关系是否能提升无监督行人重识别性能？
• RQ2 与仅基于身份的正则化相比，在线关系一致性正则化是否能生成更具语义一致性的翻译图像？
• RQ3 结合关系正则化的结构化域翻译能否生成更有效的训练样本，用于基于伪标签的重识别模型？
• RQ4 所提方法在开放集无监督域自适应基准上，与最先进基于伪标签和基于域翻译的方法相比表现如何？
• RQ5 该方法在真实世界挑战（如 VisDA-2020 的合成到真实域迁移任务）中的泛化能力如何？

主要发现

• 所提出的结合在线关系一致性的结构化域自适应方法，在使用 SDT 网络生成的合成到真实图像上训练时，于 VisDA-2020 验证集上达到 71.2% 的 mAP。
• 该性能显著优于使用 SPGAN 翻译图像的基线方法（mAP 为 68.2%），证明了关系一致性正则化的有效性。
• 该方法在 VisDA-2020 挑战赛中位列 153 支队伍中的第二名，证实其在真实世界域偏移场景下的鲁棒性与泛化能力。
• 可视化结果表明，SDT 网络在图像翻译过程中更好地保持了同一身份样本的外观一致性和样本间关系，而 CycleGAN 和 SPGAN 则表现较差。
• 消融实验表明，SDT 生成的图像提供了比基线翻译方法更强的监督信号，尤其在处理光照和风格变化方面表现更优。
• 结合在线关系正则化的联合训练策略，促进了更稳定、更具信息量的特征学习，同时提升了域对齐与身份判别能力。