[论文解读] Reinforced Wasserstein Training for Severity-Aware Semantic Segmentation in Autonomous Driving

Xiaofeng Liu, Yimeng Zhang+4 more|arXiv (Cornell University)|Aug 11, 2020

Advanced Neural Network Applications参考文献 68被引用 7

一句话总结

本文提出了一种基于Wasserstein距离的严重性感知语义分割损失，采用可学习的基度量以提升自动驾驶的安全性。通过在CARLA模拟器中利用强化学习优化任务特定的成本矩阵来建模误分类的严重性，该方法显著降低了碰撞率并增加了行驶距离，在CamVid和Cityscapes数据集上优于交叉熵损失和重要性感知基线方法。

ABSTRACT

Semantic segmentation is important for many real-world systems, e.g., autonomous vehicles, which predict the class of each pixel. Recently, deep networks achieved significant progress w.r.t. the mean Intersection-over Union (mIoU) with the cross-entropy loss. However, the cross-entropy loss can essentially ignore the difference of severity for an autonomous car with different wrong prediction mistakes. For example, predicting the car to the road is much more servery than recognize it as the bus. Targeting for this difficulty, we develop a Wasserstein training framework to explore the inter-class correlation by defining its ground metric as misclassification severity. The ground metric of Wasserstein distance can be pre-defined following the experience on a specific task. From the optimization perspective, we further propose to set the ground metric as an increasing function of the pre-defined ground metric. Furthermore, an adaptively learning scheme of the ground matrix is proposed to utilize the high-fidelity CARLA simulator. Specifically, we follow a reinforcement alternative learning scheme. The experiments on both CamVid and Cityscapes datasets evidenced the effectiveness of our Wasserstein loss. The SegNet, ENet, FCN and Deeplab networks can be adapted following a plug-in manner. We achieve significant improvements on the predefined important classes, and much longer continuous playtime in our simulator.

研究动机与目标

• 为解决交叉熵损失在语义分割中的局限性，即对所有误分类一视同仁，不考虑其在现实世界中的严重性。
• 在Wasserstein距离框架中，使用预定义或学习得到的基度量来建模类别间误分类的严重性。
• 通过优先识别高风险类别（如行人、车辆）而非低风险类别，提升自动驾驶的安全性。
• 通过即插即用的损失函数实现端到端训练，增强标准网络（如SegNet、ENet、FCN和Deeplab）而无需改变网络架构。
• 在模拟驾驶环境中使用强化学习验证该方法，展示其在驾驶安全性和鲁棒性方面的改进。

提出的方法

• 将Wasserstein距离的基度量定义为反映将一个类别误分类为另一个类别的现实世界影响的严重性矩阵。
• 使用严重性矩阵的递增函数作为基度量，以稳定优化过程并提升泛化能力。
• 在CARLA模拟器中实现演员-评论家强化学习框架，联合学习最优基度量和驾驶策略。
• 将Wasserstein损失作为即插即用的替代方案，用于标准分割网络中的交叉熵损失，实现端到端训练。
• 在自监督域适应中使用Wasserstein距离的快速近似解法，处理非独热编码的伪标签。
• 使用所提出的损失函数微调分割模型，并通过CARLA中的驾驶指标（如无碰撞行驶距离和成功率）评估性能。

实验结果

研究问题

• RQ1 基于Wasserstein距离的严重性感知损失是否能提升自动驾驶中语义分割的安全性？
• RQ2 通过可学习基度量建模误分类严重性，对模拟环境中的驾驶性能有何影响？
• RQ3 所提出的损失是否能有效集成到标准分割架构中而无需修改网络结构？
• RQ4 基于强化学习的基度量自适应是否能带来更鲁棒和更安全的驾驶策略？
• RQ5 与交叉熵损失和重要性感知损失相比，该方法在驾驶安全性和分割精度方面表现如何？

主要发现

• 在New Town场景中，该方法将与行人碰撞的平均距离从9.24公里提升至28.25公里，接近实现安全行驶距离的三倍增长。
• 在New Weather场景中，与行人碰撞的平均距离从2.53公里提升至7.82公里，表明对环境变化具有良好的鲁棒性。
• 在常规交通CARLA场景中，使用Deeplab配合自适应Wasserstein损失（A-ℒdᵢⱼ）的模型取得了40.3公里的成功率，优于基线Deeplab（30.5公里）和IAL（35.2公里）。
• 在10小时演示场景中，该方法将自动驾驶成功率从58.2%提升至65.7%，表明策略泛化能力得到增强。
• Wasserstein损失在300,000个训练步骤后趋于稳定，且无需进一步调参即可保持性能，表明对训练时长具有鲁棒性。
• 该方法在预定义的高影响类别（如行人、车辆）上取得显著改进，同时在标准mIoU指标上保持了强劲性能。