[论文解读] SelectFusion: A Generic Framework to Selectively Learn Multisensory Fusion.

Changhao Chen, Stefano Rosa+3 more|arXiv (Cornell University)|Dec 30, 2019

Robotics and Sensor-Based Localization参考文献 70被引用 7

一句话总结

SelectFusion 提出了一种端到端、可解释的传感器融合框架，通过确定性软融合与随机硬融合，选择性地组合多模态数据（如单目图像与惯性测量或深度与LIDAR）。该方法通过动态评估特征可靠性，在传感器退化条件下提升了鲁棒性，优于直接融合方法在噪声、遮挡和时间错位条件下的表现。

ABSTRACT

Autonomous vehicles and mobile robotic systems are typically equipped with multiple sensors to provide redundancy. By integrating the observations from different sensors, these mobile agents are able to perceive the environment and estimate system states, e.g. locations and orientations. Although deep learning approaches for multimodal odometry estimation and localization have gained traction, they rarely focus on the issue of robust sensor fusion - a necessary consideration to deal with noisy or incomplete sensor observations in the real world. Moreover, current deep odometry models also suffer from a lack of interpretability. To this extent, we propose SelectFusion, an end-to-end selective sensor fusion module which can be applied to useful pairs of sensor modalities such as monocular images and inertial measurements, depth images and LIDAR point clouds. During prediction, the network is able to assess the reliability of the latent features from different sensor modalities and estimate both trajectory at scale and global pose. In particular, we propose two fusion modules based on different attention strategies: deterministic soft fusion and stochastic hard fusion, and we offer a comprehensive study of the new strategies compared to trivial direct fusion. We evaluate all fusion strategies in both ideal conditions and on progressively degraded datasets that present occlusions, noisy and missing data and time misalignment between sensors, and we investigate the effectiveness of the different fusion strategies in attending the most reliable features, which in itself, provides insights into the operation of the various models.

研究动机与目标

• 解决真实世界传感器退化条件下基于深度学习的传感器融合在自主系统中缺乏鲁棒性的问题。
• 通过使网络能够评估并优先处理可靠传感器特征，提升多模态融合的可解释性。
• 开发一种通用的端到端框架，适用于多种传感器组合，如单目相机与IMU或深度与LIDAR。
• 在理想条件与逐步退化条件下（包括遮挡、噪声、数据缺失和时间错位）评估融合策略。

提出的方法

• 引入一种选择性融合模块，利用注意力机制根据特征可靠性动态加权不同传感器模态的特征。
• 实现两种不同的融合策略：确定性软融合（通过学习的注意力权重组合特征）与随机硬融合（从模态分布中采样）。
• 设计网络以联合估计尺度下的轨迹和全局位姿，利用来自多个传感器的潜在表示。
• 端到端训练模型，以同时优化准确性和在传感器退化条件下的鲁棒性。
• 使用基于注意力的机制，使模型在推理过程中能够关注最可靠的特征。
• 在退化程度逐步增加的数据集上评估融合策略，以测试鲁棒性与特征选择行为。

实验结果

研究问题

• RQ1 在传感器退化条件下，使用注意力机制的选择性融合相比直接融合，如何提升鲁棒性？
• RQ2 在噪声或数据不完整条件下，模型在多大程度上能够识别并优先处理来自不同传感器模态的可靠特征？
• RQ3 在不同退化水平下，确定性软融合与随机硬融合在性能与可解释性方面如何比较？
• RQ4 注意力机制能否为每个时间步提供关于哪种子模态对预测贡献最大的有意义洞察？

主要发现

• SelectFusion 在理想与退化条件下均优于直接融合，表现出对传感器噪声、遮挡和时间错位更强的鲁棒性。
• 注意力机制成功识别并强调了最可靠的传感器特征，增强了模型的可解释性。
• 在极端退化条件下，随机硬融合表现出更强的韧性，使模型能够根据可靠性在不同模态间切换。
• 确定性软融合在所有退化水平下均提供稳定的性能提升，尤其在中等噪声和部分遮挡条件下表现更优。
• 即使某一模态显著退化，该框架在轨迹与全局位姿估计方面仍保持高精度。
• 消融实验证实，选择性融合机制对实现鲁棒性能至关重要，因为直接融合在真实世界传感器挑战下会迅速退化。