[论文解读] Randomized Histogram Matching: A Simple Augmentation for Unsupervised Domain Adaptation in Overhead Imagery

Can Yaris, Kassaw, Kaleb+3 more|arXiv (Cornell University)|Apr 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用 6

一句话总结

本文提出随机直方图匹配（RHM），一种用于俯视影像无监督域适应的简单、实时数据增强技术。通过在训练过程中应用随机直方图匹配，深度神经网络能够有效应对由传感器、光照和大气条件变化引起的光谱域偏移，性能与SOTA方法（如CycleGAN）相当，同时显著提升训练速度并简化实现流程。

ABSTRACT

Modern deep neural networks (DNNs) are highly accurate on many recognition tasks for overhead (e.g., satellite) imagery. However, visual domain shifts (e.g., statistical changes due to geography, sensor, or atmospheric conditions) remain a challenge, causing the accuracy of DNNs to degrade substantially and unpredictably when testing on new sets of imagery. In this work, we model domain shifts caused by variations in imaging hardware, lighting, and other conditions as non-linear pixel-wise transformations, and we perform a systematic study indicating that modern DNNs can become largely robust to these types of transformations, if provided with appropriate training data augmentation. In general, however, we do not know the transformation between two sets of imagery. To overcome this, we propose a fast real-time unsupervised training augmentation technique, termed randomized histogram matching (RHM). We conduct experiments with two large benchmark datasets for building segmentation and find that despite its simplicity, RHM consistently yields similar or superior performance compared to state-of-the-art unsupervised domain adaptation approaches, while being significantly simpler and more computationally efficient. RHM also offers substantially better performance than other comparably simple approaches that are widely used for overhead imagery.

研究动机与目标

• 解决深度学习模型在应用于新型俯视影像时因未见域偏移导致的性能下降问题。
• 探究是否可通过有针对性的数据增强缓解由传感器差异、光照和大气条件引起的光谱域偏移。
• 开发一种简单、实时且计算高效的增强方法，无需事先了解域偏移变换。
• 证明RHM在建筑分割任务中优于广泛使用的简单增强技术，并可与或超越当前SOTA域适应方法的性能。

提出的方法

• RHM将域偏移建模为源域与目标域图像之间的非线性、逐像素变换。
• 该方法在当前批次中随机选取的目标图像与源图像之间执行直方图匹配，利用目标图像的直方图对源图像的像素强度进行重标定。
• 通过从当前训练批次中随机选择目标图像引入随机性，确保训练过程中域偏移模拟的多样性与随机性。
• 该方法在线性应用于训练过程，无需预计算直方图或额外的模型训练。
• 采用基于熵的重采样策略对训练样本进行重加权，通过聚焦于更不确定的预测提升模型鲁棒性。
• 该方法与标准深度学习框架兼容，除标准训练设置外无需额外超参数调优。

实验结果

研究问题

• RQ1 仅通过数据增强是否能有效缓解俯视影像中的光谱域偏移，而无需显式域适应网络？
• RQ2 与其它简单增强策略（如伽马变换、HSV变换、仿射变换）相比，RHM在应对域偏移方面的鲁棒性如何？
• RQ3 在建筑分割任务中，RHM是否能达到或超越复杂SOTA域适应方法（如CycleGAN或ColorMapGAN）的性能？
• RQ4 RHM是否能在无显著计算开销的前提下实现实时训练？
• RQ5 基于熵的重采样是否能在多种不同目标域上进一步提升RHM的性能？

主要发现

• 在Inria数据集上，RHM的平均交并比（mIoU）达到0.615；在DeepGlobe数据集上达到0.618，优于所有其他简单增强基线方法。
• 在多对多设置下，RHM在9个测试城市的平均mIoU为0.615，超过CycleGAN的0.610，且在所有城市中均优于其他所有基线方法。
• 使用ResNet-18编码器时，RHM将训练时间开销降低至仅1.88%，显著快于HSV增强（4.08%），并接近更简单方法的性能。
• 基于熵的重采样策略在9个城市中的8个提升了RHM性能，整体及各城市mIoU均实现稳定增益。
• RHM在无需训练独立域适应网络的情况下实现SOTA性能，避免了CycleGAN等模型通常需要的数天训练时间。
• RHM表明，即使在真实域变换未知的情况下，仅通过简单、数据驱动的增强方法即可实现对光谱域偏移的鲁棒性。