[论文解读] Temporal Context for Robust Maritime Obstacle Detection

Lojze Žust, Matej Kristan|arXiv (Cornell University)|Mar 10, 2022

Maritime Navigation and Safety被引用 4

一句话总结

本文提出 WaSR-T，一种时间卷积网络，通过利用多帧时间上下文来区分动态水反射和阳光眩光与真实障碍物，从而提升海上障碍物检测性能。通过分析最近几帧中的时间外观变化，WaSR-T 将总体误报率降低 41%，在危险区域降低 53%，在 MODS 基准上实现最先进性能，且计算开销极低。

ABSTRACT

Robust maritime obstacle detection is essential for fully autonomous unmanned surface vehicles (USVs). The currently widely adopted segmentation-based obstacle detection methods are prone to misclassification of object reflections and sun glitter as obstacles, producing many false positive detections, effectively rendering the methods impractical for USV navigation. However, water-turbulence-induced temporal appearance changes on object reflections are very distinctive from the appearance dynamics of true objects. We harness this property to design WaSR-T, a novel maritime obstacle detection network, that extracts the temporal context from a sequence of recent frames to reduce ambiguity. By learning the local temporal characteristics of object reflection on the water surface, WaSR-T substantially improves obstacle detection accuracy in the presence of reflections and glitter. Compared with existing single-frame methods, WaSR-T reduces the number of false positive detections by 41% overall and by over 53% within the danger zone of the boat, while preserving a high recall, and achieving new state-of-the-art performance on the challenging MODS maritime obstacle detection benchmark. The code, pretrained models and extended datasets are available at https://github.com/lojzezust/WaSR-T

研究动机与目标

• 解决单帧海上障碍物检测中因水反射和阳光眩光导致的高误报率问题。
• 在外观模糊性较高的复杂海上条件下，提升障碍物分割的鲁棒性。
• 开发一种显式建模时间动态的深度学习架构，以区分瞬态反射与静态障碍物。
• 通过添加时间对齐帧和新的反射/眩光场景，扩展 MaSTr1325 数据集，以更好地训练时间模型。
• 通过时间上下文和精心筛选的扩展训练数据集，在海上障碍物检测中建立新的最先进水平。

提出的方法

• WaSR-T 使用共享编码器从目标帧和前序上下文帧中提取特征图。
• 一个 3D 卷积时间上下文模块处理特征图序列，以学习动态反射的时空模式。
• 在网络中，将时间上下文嵌入表示与目标帧特征结合后，再输入解码器进行分割预测。
• 模型在经过扩展的 MaSTr1325 数据集（扩展为 MaSTr1478）的修改版本上进行端到端训练，新增了时间对齐帧和具有挑战性的反射场景。
• 时间上下文模块采用可变卷积核大小和上下文长度的 3D 卷积，以捕捉水面形变的局部时间动态。
• 该架构设计旨在保持高召回率的同时显著降低误报率，尤其在无人水面航行器（USV）附近的危险区域。

实验结果

研究问题

• RQ1 在帧序列中建模时间上下文是否能提升在存在反射和眩光情况下的海上障碍物检测鲁棒性？
• RQ2 包含时间扩展训练数据是否会影响分割网络在水面障碍物检测中的性能？
• RQ3 区分动态水反射与真实障碍物的最优时间上下文长度和空间卷积核大小是什么？
• RQ4 在训练集中加入逼真的反射和眩光场景是否能提升泛化能力并减少误报？
• RQ5 时间建模方法在真实海上障碍物检测中相较于单帧推理的性能优势有多大？

主要发现

• 与单帧 WaSR 相比，WaSR-T 将总体误报数减少 41%，在危险区域减少 53%。
• 在危险区域，F1 分数提升 5.4 分，整体 F1 分数提升 1.0 分，当在扩展的 MaSTr1478 数据集上训练时。
• 仅使用一帧上下文（T=1）即可使总体误报减少 30%，危险区域减少 39%，证明了时间上下文的价值。
• 时间上下文模块中 3×3 的空间卷积核大小可实现最佳性能，更大的卷积核无额外增益。
• 扩展数据集 MaSTr1478 对性能提升至关重要：单帧模型无法从新序列中获益，且仅在 MaSTr1325 上训练的 WaSR-T 无性能提升。
• WaSR-T 在 MODS 基准上创下新最先进水平，优于使用或不使用时间上下文的现有方法。