[论文解读] Unsupervised Scene Adaptation with Memory Regularization in vivo

Zhedong Zheng, Yi Yang|arXiv (Cornell University)|Dec 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用 9

一句话总结

本文提出了一种在真实场景中应用的记忆正则化方法，这是一种简单而有效的无监督场景自适应方法，通过利用模型自身的内部预测作为记忆，以减少目标域中的预测不一致性。通过在不增加额外参数的情况下最小化主分类器与辅助分类器之间的差异，该方法在GTA5→Cityscapes和SYNTHIA→Cityscapes上分别实现了+11.1%和+11.3%的mIoU提升，在跨城市自适应任务中也取得了类似的效果。

ABSTRACT

We consider the unsupervised scene adaptation problem of learning from both labeled source data and unlabeled target data. Existing methods focus on minoring the inter-domain gap between the source and target domains. However, the intra-domain knowledge and inherent uncertainty learned by the network are under-explored. In this paper, we propose an orthogonal method, called memory regularization in vivo to exploit the intra-domain knowledge and regularize the model training. Specifically, we refer to the segmentation model itself as the memory module, and minor the discrepancy of the two classifiers, i.e., the primary classifier and the auxiliary classifier, to reduce the prediction inconsistency. Without extra parameters, the proposed method is complementary to the most existing domain adaptation methods and could generally improve the performance of existing methods. Albeit simple, we verify the effectiveness of memory regularization on two synthetic-to-real benchmarks: GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, yielding +11.1% and +11.3% mIoU improvement over the baseline model, respectively. Besides, a similar +12.0% mIoU improvement is observed on the cross-city benchmark: Cityscapes -> Oxford RobotCar.

研究动机与目标

• 解决无监督域自适应语义分割中尚未充分探索的域内知识与预测不确定性问题。
• 通过增强同一域内的预测一致性，提升模型在未标注目标域上的鲁棒性与性能。
• 开发一种无需参数的正则化方法，以补充现有的域间对齐技术。
• 实现在包括合成到真实数据以及跨城市场景在内的多样化域之间的更好泛化能力。

提出的方法

• 该方法利用模型自身的主分类器与辅助分类器作为内部记忆模块，存储并比较同一输入的预测结果。
• 提出了一种记忆正则化损失 $ L_{mr} $，用于最小化同一输入样本在两个分类器之间的预测差异。
• 该正则化方法在预训练阶段（阶段-I）和自训练阶段（阶段-II）均被应用，以稳定对未标注目标数据的学习过程。
• 该方法与现有域自适应框架兼容，无需额外参数或外部记忆模块。
• 该方法通过对抗损失、分割损失与所提出的记忆正则化损失的组合进行端到端训练。
• 超参数 $ \lambda_{mr} $ 控制正则化的强度，实验表明 $ \lambda_{mr} = 0.1 $ 在多种设置下均表现稳健。

实验结果

研究问题

• RQ1 是否可以利用域内预测一致性来提升语义分割中的无监督域自适应性能？
• RQ2 将模型自身的内部预测作为记忆机制，是否能降低未标注目标数据中的不确定性？
• RQ3 一种无参数的正则化方法是否能在不修改主干网络或添加外部模块的前提下提升性能？
• RQ4 所提出的方法在多样化自适应基准上的有效性如何，包括合成到真实数据以及跨城市场景？

主要发现

• 在GTA5→Cityscapes基准上，所提方法相比基线实现了+11.1%的mIoU提升。
• 在SYNTHIA→Cityscapes基准上，实现了+11.3%的mIoU增益，表明其具有强大的泛化能力。
• 在跨城市基准Cityscapes→Oxford RobotCar上，该方法实现了+12.0%的mIoU提升，表明其对域偏移具有鲁棒性。
• 模型对超参数 $ \lambda_{mr} $ 具有鲁棒性，最优性能出现在 $ \lambda_{mr} = 0.1 $ 处。
• 记忆正则化在阶段-II自训练中显著提升性能，优于仅使用伪标签训练的模型。
• 消融实验表明，仅使用记忆正则化即可使阶段-I的mIoU从37.23%提升至45.46%，证明了其内在价值。