[论文解读] SBSGAN: Suppression of Inter-Domain Background Shift for Person Re-Identification

Yan Huang, Qiang Wu+2 more|arXiv (Cornell University)|Aug 24, 2019

Video Surveillance and Tracking Methods参考文献 33被引用 10

一句话总结

该论文提出SBSGAN，一种生成对抗网络，通过生成背景适度抑制而非完全移除的软掩码图像，来抑制跨域行人重识别中的背景偏移。通过在具有跨流密集连接模块的Densely Associated 2-Stream网络中结合软掩码图像与全背景图像，该方法实现了最先进性能，在跨域重识别基准上，rank-1准确率最高提升6.6%。

ABSTRACT

Cross-domain person re-identification (re-ID) is challenging due to the bias between training and testing domains. We observe that if backgrounds in the training and testing datasets are very different, it dramatically introduces difficulties to extract robust pedestrian features, and thus compromises the cross-domain person re-ID performance. In this paper, we formulate such problems as a background shift problem. A Suppression of Background Shift Generative Adversarial Network (SBSGAN) is proposed to generate images with suppressed backgrounds. Unlike simply removing backgrounds using binary masks, SBSGAN allows the generator to decide whether pixels should be preserved or suppressed to reduce segmentation errors caused by noisy foreground masks. Additionally, we take ID-related cues, such as vehicles and companions into consideration. With high-quality generated images, a Densely Associated 2-Stream (DA-2S) network is introduced with Inter Stream Densely Connection (ISDC) modules to strengthen the complementarity of the generated data and ID-related cues. The experiments show that the proposed method achieves competitive performance on three re-ID datasets, ie., Market-1501, DukeMTMC-reID, and CUHK03, under the cross-domain person re-ID scenario.

研究动机与目标

• 解决行人重识别中跨域背景偏移的问题，该问题会降低模型在不同数据集间的泛化能力。
• 探究适度背景抑制（而非完全移除）是否能更好地保留前景特征并减少域间差异。
• 开发一种方法，将身份相关上下文线索（如同伴、车辆）整合到重识别过程中。
• 提出一种双流网络架构，有效融合来自软掩码图像和全背景图像的特征，以增强特征互补性。
• 证明通过域间风格一致性生成的软掩码图像相比硬掩码或通用风格迁移，能显著提升跨域重识别性能。

提出的方法

• 提出SBSGAN，一种条件生成对抗网络，通过学习抑制背景像素同时保留前景特征来生成软掩码图像，使用可微分软掩码而非二值掩码。
• 引入风格一致性损失（$\mathcal{L}_{sc}$），对多个域中生成的软掩码图像进行风格归一化，以减少域间分布偏移。
• 设计Densely Associated 2-Stream（DA-2S）网络，分别在两个流中处理软掩码图像和全背景图像，以利用互补特征。
• 提出跨流密集连接（ISDC）模块，实现在反向传播过程中两流之间的双向梯度流动与特征融合。
• 在ISDC模块中引入SE模块，以自适应地重新校准特征图并提升表征学习效果，但消融实验表明过度使用会导致过拟合。
• 采用对抗损失、重建损失和身份分类损失的组合进行端到端训练，以同时优化图像生成与重识别性能。

实验结果

研究问题

• RQ1 通过软掩码实现的适度背景抑制是否比硬二值掩码更有效地减少跨域行人重识别中的域偏移？
• RQ2 当与软掩码图像结合时，背景中身份相关上下文线索（如同伴、车辆）的引入在多大程度上影响重识别性能？
• RQ3 通过$\mathcal{L}_{sc}$强制实现的域间风格一致性，在多大程度上提升了生成图像的泛化能力及下游重识别准确率？
• RQ4 具有跨流密集连接（ISDC）的双流架构是否在融合软掩码与全背景图像特征方面优于标准双流网络？
• RQ5 在多个域上训练的单一SBSGAN模型是否比仅在两个域上训练的模型具有更好的泛化能力，特别是在可扩展性与性能方面？

主要发现

• 在Market-1501 → DukeMTMC-reID跨域设置中，SBSGAN生成的软掩码图像实现了最高的rank-1准确率（43.3%），优于硬掩码方法和通用风格迁移GAN。
• 引入风格一致性损失（$\mathcal{L}_{sc}$）使mAP提升1.1%，rank-1准确率提升1.6%，证明其在减少域间风格差异方面的有效性。
• 在Market-1501 → CUHK03基准上，所提方法在双域设置下实现了44.2%的rank-1准确率和23.5%的mAP，相比PTGAN在rank-1准确率上提升8.9个百分点。
• 采用ISDC模块的DA-2S网络实现了30.8%的mAP和53.5%的rank-1准确率，较基线提升2.7%，证实了跨流特征融合的有效性。
• 消融研究显示，若在每个ISDC模块中都加入SE模块，会增加过拟合风险，并使rank-1准确率降低2个百分点，表明模块放置需优化。
• 在DA-2S网络中结合软掩码与全背景图像的性能优于单独使用任一模态，证明了互补特征学习的价值。