[论文解读] SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments.

Divya Kothandaraman, Rohan Chandra+1 more|arXiv (Cornell University)|Nov 27, 2020

Advanced Neural Network Applications参考文献 45被引用 5

一句话总结

SAfE 提出了一种基于自注意力机制的无监督域自适应方法，用于恶劣天气条件下的道路安全分类，通过将清晰天气图像中的注意力知识迁移至恶劣天气图像，以提升安全驾驶区域的定位能力。该方法在无监督域自适应性能上相比基线方法提升了 29.29%，在模拟数据集和真实世界数据集上的 mIoU 指标上优于最先进方法至少 12.02%。

ABSTRACT

We present a novel approach SAfE that can identify parts of an outdoor scene that are safe for driving, based on attention models. Our formulation is designed for hazardous weather conditions that can impair the visibility of human drivers as well as autonomous vehicles, increasing the risk of accidents. Our approach is unsupervised and uses domain adaptation, with entropy minimization and attention transfer discriminators, to leverage the large amounts of labeled data corresponding to clear weather conditions. Our attention transfer discriminator uses attention maps from the clear weather image to help the network learn relevant regions to attend to, on the images from the hazardous weather dataset. We conduct experiments on CityScapes simulated datasets depicting various weather conditions such as rain, fog and snow under different intensities, and additionally on Berkeley Deep Drive. Our result show that using attention models improves the standard unsupervised domain adaptation performance by 29.29%. Furthermore, we also compare with unsupervised domain adaptation methods and show an improvement of at least 12.02% (mIoU) over the state-of-the-art.

研究动机与目标

• 解决在人类驾驶员和自动驾驶车辆均因能见度受限而面临挑战的恶劣天气条件下道路安全分类问题。
• 通过利用清晰天气条件下大规模标注数据，缓解恶劣天气下标注数据稀缺的问题。
• 通过基于注意力的特征学习，提升道路场景理解中无监督域自适应的性能。
• 使模型能够在无需恶劣天气条件人工标注的情况下，实现跨天气域的泛化能力。
• 开发一种方法，将清晰天气图像中的空间注意力迁移至恶劣天气输入，以引导注意力机制。

提出的方法

• 利用自注意力机制，动态聚焦于输入图像中与道路安全分类相关的空间区域。
• 采用注意力迁移判别器，对齐清晰天气图像的注意力图与恶劣天气图像中预测的注意力图。
• 应用熵最小化策略，以在无监督域自适应过程中鼓励模型做出更自信且一致的预测。
• 通过对抗性训练实现域自适应，其中注意力迁移判别器确保模型在不同域之间学习到对语义相关区域的关注。
• 使用标注的清晰天气数据与未标注的恶劣天气数据进行端到端训练，通过基于注意力的特征对齐最小化域偏移。
• 利用源域（清晰天气）的注意力图作为监督信号，指导目标域（如雨天、雾天、雪天）中模型的注意力学习。

实验结果

研究问题

• RQ1 自注意力机制能否提升恶劣天气条件下道路安全分类的无监督域自适应性能？
• RQ2 清晰天气图像中的注意力图在多大程度上能够改善恶劣天气场景中安全区域的定位？
• RQ3 与标准域自适应技术相比，所提出的注意力迁移判别器在分割准确率方面表现如何？
• RQ4 结合熵最小化与注意力迁移是否能带来更鲁棒且更具泛化能力的特征学习？
• RQ5 该方法是否能在无需恶劣天气条件标注的情况下实现最先进性能？

主要发现

• 所提出的 SAfE 方法在模拟天气数据集上相比标准基线方法，无监督域自适应性能提升了 29.29%。
• SAfE 在 CityScapes 模拟数据集和 Berkeley DeepDrive 数据集上，mIoU 指标均至少优于最先进方法 12.02%。
• 注意力迁移判别器能有效引导模型关注恶劣天气图像中的语义相关区域，即使在无显式标注的情况下亦可实现。
• 熵最小化策略有助于提升目标域中预测的置信度与一致性，降低分割输出的不确定性。
• 该方法在包括不同强度雨天、雾天和雪天在内的多种天气条件下均表现出良好的泛化能力。
• 自注意力机制的使用使模型在低能见度场景下对安全驾驶区域的定位精度，优于传统基于 CNN 的方法。