[论文解读] Unity Style Transfer for Person Re-Identification

Chong Liu, Xiaojun Chang+1 more|arXiv (Cornell University)|Mar 4, 2020

Video Surveillance and Tracking Methods参考文献 32被引用 6

一句话总结

本文提出 UnityStyle，一种用于行人重识别的新型风格迁移方法，利用 UnityGAN 生成跨相机和相机内均保持形状稳定、风格统一的图像，实现无需标签平滑的鲁棒特征学习。该方法通过对齐查询集与图库图像的风格，提升了跨相机匹配性能，在 Market-1501 和 DuckMTMC-ReID 数据集上分别取得了 93.2% 和 85.9% 的 top-1 准确率（结合重排序后）。

ABSTRACT

Style variation has been a major challenge for person re-identification, which aims to match the same pedestrians across different cameras. Existing works attempted to address this problem with camera-invariant descriptor subspace learning. However, there will be more image artifacts when the difference between the images taken by different cameras is larger. To solve this problem, we propose a UnityStyle adaption method, which can smooth the style disparities within the same camera and across different cameras. Specifically, we firstly create UnityGAN to learn the style changes between cameras, producing shape-stable style-unity images for each camera, which is called UnityStyle images. Meanwhile, we use UnityStyle images to eliminate style differences between different images, which makes a better match between query and gallery. Then, we apply the proposed method to Re-ID models, expecting to obtain more style-robust depth features for querying. We conduct extensive experiments on widely used benchmark datasets to evaluate the performance of the proposed framework, the results of which confirm the superiority of the proposed model.

研究动机与目标

• 为解决行人重识别中跨相机及相机内风格差异带来的匹配准确率下降问题。
• 克服现有基于 GAN 的风格迁移方法的局限性，如图像伪影以及因训练多个 CycleGAN 模型导致的高计算成本。
• 开发一种数据增强方案，生成高质量、风格统一的图像，可在训练和推理阶段直接使用，无需标签平滑。
• 通过为每台相机训练一个 UnityGAN，将所需模型数量从 $C^2$ 减少至 $C$，在计算资源有限的情况下提升可扩展性。
• 增强模型对相机内风格变化（如昼夜光照变化）的鲁棒性，并提升在多样化相机视角下的泛化能力。

提出的方法

• 提出 UnityGAN，一种基于 GAN 的架构，通过多层级的跳跃连接保留结构信息，生成形状稳定的风格迁移图像。
• 利用 UnityGAN 生成每台相机特有的 UnityStyle 图像，统一该相机图像的视觉风格，最大限度减少风格差异。
• 提出一种新颖的 UnityStyle 数据增强方案，在训练过程中将真实图像与 UnityStyle 图像结合，提升特征的鲁棒性。
• 引入风格注意力模块以引导风格迁移过程，确保在多样化输入图像上实现一致且稳定的风格适应。
• 通过为每台相机训练一个 UnityGAN，将所需模型数量从 $C^2$ 减少至 $C$，显著降低计算成本。
• 消除对生成图像使用标签平滑正则化（LSR）的需求，因为 UnityStyle 图像质量高，不引入噪声。

实验结果

研究问题

• RQ1 统一的风格迁移方法是否能在不引入伪影的情况下，同时减少行人重识别中的相机内与跨相机风格差异？
• RQ2 UnityGAN 是否能生成高保真度、形状稳定的风格迁移图像，使其可作为训练数据直接使用而无需标签平滑？
• RQ3 将 UnityStyle 图像用作数据增强是否能提升在多样化相机设置下的泛化能力与匹配准确率？
• RQ4 所提方法在相机数量增加时是否具备高效可扩展性，能否将所需模型数量从 $C^2$ 降低至 $C$？
• RQ5 UnityStyle 与重排序结合后，在基准数据集上对 top-1 准确率与 mAP 的提升程度如何？

主要发现

• 在 Market-1501 上，所提的 UnityStyle+RE 方法达到 93.2% 的 top-1 准确率与 89.3% 的 mAP，显著优于基线 IDE 模型（85.7% top-1）。
• 在 DuckMTMC-ReID 上，UnityStyle+RE 达到 85.9% 的 top-1 准确率与 82.3% 的 mAP，表明在相机视角多样性更高的数据集中仍具强大性能。
• 消融实验表明，UnityGAN、UnityStyle 和重排序各组件均对性能有逐步贡献，其中重排序在 UnityStyle 之后带来最大性能增益。
• 仅使用 UnityGAN 即可使 IDE 在 Market-1501 上的 top-1 准确率从 85.7% 提升至 89.8%，表明高质量风格迁移本身即可增强特征学习，即使未完全集成 UnityStyle。
• 引入 UnityStyle 后，同一相机与跨相机匹配的准确率均有所提升，表明对风格变化具有更强鲁棒性。
• 该方法消除了对生成图像使用标签平滑正则化的需要，因为 UnityStyle 图像清晰且无伪影，与 CycleGAN 输出形成鲜明对比。