[论文解读] Significance-aware Information Bottleneck for Domain Adaptive Semantic Segmentation

Yawei Luo, Ping Liu+3 more|arXiv (Cornell University)|Apr 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用 24

一句话总结

该论文提出SIBAN，一种显著性感知的信息瓶颈对抗网络，通过在对抗性适应前净化特征，提升了域自适应语义分割的性能。通过过滤与任务无关的因素并稳定训练过程，SIBAN在GTA5→Cityscapes和SYNTHIA→Cityscapes上实现了最先进性能，与输出空间方法相当，同时保持在特征空间中进行。

ABSTRACT

For unsupervised domain adaptation problems, the strategy of aligning the two domains in latent feature space through adversarial learning has achieved much progress in image classification, but usually fails in semantic segmentation tasks in which the latent representations are overcomplex. In this work, we equip the adversarial network with a "significance-aware information bottleneck (SIB)", to address the above problem. The new network structure, called SIBAN, enables a significance-aware feature purification before the adversarial adaptation, which eases the feature alignment and stabilizes the adversarial training course. In two domain adaptation tasks, i.e., GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, we validate that the proposed method can yield leading results compared with other feature-space alternatives. Moreover, SIBAN can even match the state-of-the-art output-space methods in segmentation accuracy, while the latter are often considered to be better choices for domain adaptive segmentation task.

研究动机与目标

• 解决由于高维复杂特征导致的特征空间域自适应语义分割中不稳定性和对齐不良的问题。
• 克服因判别器过于精确而被与任务无关的视觉因素误导所引发的对抗性训练不稳定性问题。
• 通过实现有效、稳定且精确的域对齐，重新释放特征空间自适应的潜力，而无需依赖输出空间监督。
• 在保持特征空间自适应范式的同时，实现与最先进输出空间方法相当的性能。

提出的方法

• 引入一种显著性感知的信息瓶颈（SIB），在对抗性适应之前从潜在特征中选择性地去除与任务无关的干扰因素。
• 应用信息瓶颈理论，最小化输入X与潜在表征Z之间的互信息I(X,Z)，仅保留域不变的语义信息。
• 设计一个可学习的SIB模块，根据显著性动态调整特征净化过程，相较于标准IB，提升了鲁棒性与性能。
• 将SIB集成到对抗网络中（SIBAN），通过减少来自无关线索的过度精确判别器，实现训练稳定化。
• 采用自适应β策略，在训练过程中平衡信息压缩与语义保留之间的权衡。
• 将SIBAN与其他域自适应方法（如显著性或输出图对齐）结合，进一步提升性能。

Figure 1 : Comparison of the baseline method and SIBAN. The baseline method aligns the latent features directly. As the crude features contain various of task-independent factors, these features are prone to be wrongly aligned between two domains. SIBAN addresses this issue by employing an informati

实验结果

研究问题

• RQ1 显著性感知的信息瓶颈能否稳定特征空间域自适应语义分割中的对抗性训练？
• RQ2 在存在域偏移的情况下，过滤与任务无关的因素是否能改善特征对齐与分割精度？
• RQ3 特征空间自适应能否在域自适应语义分割中达到与最先进输出空间方法相当的性能？
• RQ4 与标准信息瓶颈相比，SIB模块在训练稳定性和分割精度方面表现如何？
• RQ5 自适应β和额外判别器在提升SIBAN性能方面分别起到什么作用？

主要发现

• 在ResNet-101主干网络的GTA5→Cityscapes基准上，SIBAN实现了41.4%的平均交并比（mIoU），与最先进输出空间方法持平。
• SIBAN在GTA5→Cityscapes和SYNTHIA→Cityscapes两个基准上均优于其他特征空间自适应方法，成为特征空间方法中的最高mIoU结果。
• 引入SIB后，对抗性判别器损失（Loss_D）趋近于0.5，表明训练过程更加稳定；而无IB的基线模型则表现出损失快速下降，表明判别器占据主导地位。
• A-distance度量结果表明，尽管标准IB的A-distance略小，但SIBAN因更好地保留了语义信息，能更有效地减少域差异。
• 消融实验表明，加入显著性感知（SA）层使标准IB性能提升1.5%，而自适应β进一步将性能提升0.4%。
• 将SIBAN与额外的判别器（分别作用于显著性张量和分割图）结合，分别带来了0.8%和2.3%的mIoU增益。

Figure 2 : The network architecture of the proposed SIBAN.