[论文解读] RiWNet: A moving object instance segmentation Network being Robust in adverse Weather conditions

Chenjie Wang, Chengyuan Li+3 more|arXiv (Cornell University)|Sep 4, 2021

Advanced Neural Network Applications参考文献 61被引用 4

一句话总结

RiWNet 是一种新颖的端到端移动目标实例分割网络，通过集成一种新型特征金字塔网络（RiWFPN），在恶劣天气条件下表现出更强的鲁棒性。该网络通过渐进式的自顶向下交互与注意力优化，增强低频结构特征，从而在无需天气特定数据增强或多传感器融合的情况下，显著提升雨天、雾天和低光照场景下的性能，在基准数据集上实现了恶劣天气条件下的最先进结果。

ABSTRACT

Segmenting each moving object instance in a scene is essential for many applications. But like many other computer vision tasks, this task performs well in optimal weather, but then adverse weather tends to fail. To be robust in weather conditions, the usual way is to train network in data of given weather pattern or to fuse multiple sensors. We focus on a new possibility, that is, to improve its resilience to weather interference through the network's structural design. First, we propose a novel FPN structure called RiWFPN with a progressive top-down interaction and attention refinement module. RiWFPN can directly replace other FPN structures to improve the robustness of the network in non-optimal weather conditions. Then we extend SOLOV2 to capture temporal information in video to learn motion information, and propose a moving object instance segmentation network with RiWFPN called RiWNet. Finally, in order to verify the effect of moving instance segmentation in different weather disturbances, we propose a VKTTI-moving dataset which is a moving instance segmentation dataset based on the VKTTI dataset, taking into account different weather scenes such as rain, fog, sunset, morning as well as overcast. The experiment proves how RiWFPN improves the network's resilience to adverse weather effects compared to other FPN structures. We compare RiWNet to several other state-of-the-art methods in some challenging datasets, and RiWNet shows better performance especially under adverse weather conditions.

研究动机与目标

• 解决雨天、雾天和低光照等恶劣天气条件下移动目标实例分割性能下降的问题。
• 在不依赖天气增强训练数据或多传感器融合的前提下，提升网络的鲁棒性。
• 开发一种特征金字塔网络（RiWFPN），以增强低频结构信息，从而在退化图像中实现更优的目标表征。
• 在 SOLOv2 的基础上引入时序建模，通过相邻 RGB 帧捕捉运动线索，以提升实例分割性能。
• 构建并评估一个新基准数据集 VKTTI-moving，涵盖多样化的天气条件，用于移动目标实例分割任务。

提出的方法

• 提出 RiWFPN，一种新型 FPN 变体，包含渐进式自顶向下交互模块，可跨尺度优化特征图，提升语义与空间一致性。
• 引入注意力优化模块，增强特征图中的低频分量，以在天气退化条件下保留结构信息。
• 基于 ConvLSTM 构建时序编码器，扩展 SOLOv2 以融合相邻两帧 RGB 图像的运动线索。
• 以一对连续的 RGB 帧作为 RiWNet 的输入，使网络能够利用时空上下文信息，实现更精确的实例分割。
• 通过在 VKITTI 数据集上重新标注实例分割注释，构建 VKTTI-moving 数据集，涵盖雨天、雾天、日落、清晨和多云等多种天气条件。
• 在 VKTTI-moving 和 YTVOS-moving 上端到端训练并评估 RiWNet，采用标准指标包括精确率、召回率、F-measure 和 IoU。

实验结果

研究问题

• RQ1 重新设计的 FPN 架构是否能在不依赖天气增强数据的前提下，提升实例分割网络在恶劣天气条件下的鲁棒性？
• RQ2 渐进式自顶向下特征优化与基于注意力的低频增强相结合，在退化图像中保留结构信息方面的有效性如何？
• RQ3 通过 ConvLSTM 实现的时序建模在视频序列中受天气干扰时，对实例分割性能的提升程度如何？
• RQ4 在挑战性天气条件下，RiWNet 与当前最先进方法相比表现如何？
• RQ5 一个包含多样化天气条件的新基准数据集是否能有效评估并验证分割模型的鲁棒性？

主要发现

• 在 YTVOS-moving 测试集上，RiWNet 的精确率达到 79.80%，F-measure 达到 73.35%，在精确率上优于 TSA 和 U2-ONet 超过 4.1%，在 F-measure 上优于超过 3.4%。
• RiWFPN 的使用显著提升了恶劣天气下特征图的质量，表现为即使在雨天和雾天条件下，特征也更加清晰、结构更完整。
• 在视觉-LiDAR 融合 SLAM（DV-LOAM）中，集成 RiWNet 后，KITTI Sequence 04 的相对平移误差从 0.61% 降低至 0.56%，旋转误差从 0.30°/100m 降低至 0.26°/100m。
• 使用 RiWNet 生成的移动目标掩码所构建的点云地图，显著减少了移动目标引起的伪影，提升了静态场景重建质量。
• 当在关键帧上并行运行时，RiWNet 保持约 5 Hz 的实时推理速度，证明其与实时 SLAM 系统具有良好的兼容性。
• VKTTI-moving 数据集能有效捕捉标准模型与鲁棒模型在多样化天气条件下的性能差距，验证了其作为基准数据集的有效性。