[论文解读] Real-world Person Re-Identification via Degradation Invariance Learning

Yukun Huang, Zheng-Jun Zha+3 more|arXiv (Cornell University)|Apr 10, 2020

Video Surveillance and Tracking Methods参考文献 48被引用 10

一句话总结

本文提出 DI-REID，一种用于真实世界行人重识别的自监督退化不变表示学习框架，通过无需标注恢复数据即可解耦身份特征与退化特征。通过使用双判别器的对抗性训练与特征交换，该方法在 Re-ID 基准测试中取得最先进性能，尤其在低分辨率和低照度条件下表现突出，退化不变性学习带来 6.6% 的 Rank-1 准确率提升。

ABSTRACT

Person re-identification (Re-ID) in real-world scenarios usually suffers from various degradation factors, e.g., low-resolution, weak illumination, blurring and adverse weather. On the one hand, these degradations lead to severe discriminative information loss, which significantly obstructs identity representation learning; on the other hand, the feature mismatch problem caused by low-level visual variations greatly reduces retrieval performance. An intuitive solution to this problem is to utilize low-level image restoration methods to improve the image quality. However, existing restoration methods cannot directly serve to real-world Re-ID due to various limitations, e.g., the requirements of reference samples, domain gap between synthesis and reality, and incompatibility between low-level and high-level methods. In this paper, to solve the above problem, we propose a degradation invariance learning framework for real-world person Re-ID. By introducing a self-supervised disentangled representation learning strategy, our method is able to simultaneously extract identity-related robust features and remove real-world degradations without extra supervision. We use low-resolution images as the main demonstration, and experiments show that our approach is able to achieve state-of-the-art performance on several Re-ID benchmarks. In addition, our framework can be easily extended to other real-world degradation factors, such as weak illumination, with only a few modifications.

研究动机与目标

• 解决真实世界行人重识别系统中图像质量退化（如低分辨率、照度差、模糊）的挑战。
• 克服现有基于恢复的 Re-ID 方法中，合成数据增强与真实世界退化之间的域差距问题。
• 通过利用自监督解耦表示学习，消除对成对恢复数据或外部监督的依赖。
• 构建一个统一框架，可泛化于多种退化类型，包括分辨率和照度变化。
• 通过学习对低层次视觉退化不敏感的特征，同时保留判别性身份信息，提升身份表示的鲁棒性。

提出的方法

• 提出一种双编码器架构，包含内容编码器与退化编码器，从输入图像中解耦身份相关特征与退化相关特征。
• 使用解码器从混合的内容与退化特征中重建图像，实现跨退化生成（例如，高分辨率内容搭配低分辨率退化）。
• 引入两个判别器：真实感判别器用于缩小真实图像与生成图像之间的域差距；基于 rankGAN 的退化判别器用于估计退化程度，无需离散标签。
• 通过在真实图像与自生成退化图像对之间进行特征交换，实施自监督训练，以增强特征解耦与鲁棒性。
• 利用伽马校正作为弱监督信号，指导退化建模，避免对成对真实恢复数据的需求。
• 通过对抗损失、重建损失与身份分类损失联合端到端训练整个框架，以同时优化特征解耦与检索性能。

实验结果

研究问题

• RQ1 自监督解耦表示学习是否能有效提取无需标注恢复数据的退化不变身份特征？
• RQ2 所提出的框架在多种真实世界退化类型（如低分辨率与低照度）下泛化能力如何？
• RQ3 与基线模型及现有数据增强技术相比，退化不变性学习在多大程度上提升了 Re-ID 性能？
• RQ4 该框架能否生成保留身份信息但改变退化水平的真实感图像转换，从而体现有效解耦？
• RQ5 缺乏成对恢复训练数据是否会影响生成图像的质量与真实性，以及所学表示的质量？

主要发现

• 所提出的 DI-REID 框架在多个 Re-ID 基准上达到最先进性能，仅通过退化不变性学习即实现 Rank-1 准确率 6.6% 的提升。
• 退化不变特征（$f_{inv}$）在 Rank-5 与 Rank-10 上的表现优于标准特征，表明在噪声或退化条件下具有更好的泛化能力。
• 退化敏感特征（$f_{sen}$）达到更高的 Rank-1 准确率，证实身份可分性得以保留，而退化不变性增强了模型鲁棒性。
• t-SNE 可视化结果表明，学习到的退化特征形成与真实世界照度分布对齐的有意义流形，表明退化建模具有真实性。
• 在跨照度与跨分辨率设置下生成的图像表现出自然、真实的调整，未出现过度增强现象，在视觉真实性方面优于 LIME 与 DeepUPE 等最先进方法。
• 该框架可轻松扩展至分辨率与照度以外的其他退化类型，仅需对网络架构进行少量修改。