[论文解读] Occupancy Map Prediction Using Generative and Fully Convolutional Networks for Vehicle Navigation

Kapil D. Katyal, Katie M. Popek+5 more|arXiv (Cornell University)|Mar 6, 2018

Video Surveillance and Tracking Methods参考文献 21被引用 11

一句话总结

本文提出一种基于生成式与全卷积神经网络的深度学习方法，用于预测机器人传感器视场范围之外的未来占据地图，从而实现更长距离的规划。在模拟和真实激光雷达数据上采用U-Net与基于GAN的架构，该方法在合成数据上达到最高0.899的SSIM，即使在2.00倍扩展情况下仍能实现稳健且定性准确的预测，且GAN在物理数据上展现出更优的细节表现。

ABSTRACT

Fast, collision-free motion through unknown environments remains a challenging problem for robotic systems. In these situations, the robot's ability to reason about its future motion is often severely limited by sensor field of view (FOV). By contrast, biological systems routinely make decisions by taking into consideration what might exist beyond their FOV based on prior experience. In this paper, we present an approach for predicting occupancy map representations of sensor data for future robot motions using deep neural networks. We evaluate several deep network architectures, including purely generative and adversarial models. Testing on both simulated and real environments we demonstrated performance both qualitatively and quantitatively, with SSIM similarity measure up to 0.899. We showed that it is possible to make predictions about occupied space beyond the physical robot's FOV from simulated training data. In the future, this method will allow robots to navigate through unknown environments in a faster, safer manner.

研究动机与目标

• 通过利用预测占据地图将规划范围扩展至传感器视场之外，实现高速、无碰撞导航。
• 开发一种深度学习框架，利用先前的空间经验预测未观测到的环境结构。
• 在模拟和真实世界环境中，评估并比较生成模型与全卷积神经网络在占据地图预测中的表现。
• 使用真实激光雷达数据验证该方法，并证明其在风险敏感控制策略中的实用性。
• 构建一个数据集和评估框架，用于训练和基准测试占据地图预测模型。

提出的方法

• 训练全卷积网络（U-Net、ResNet）和生成对抗网络（GANs），从输入传感器数据预测扩展后的占据地图。
• 采用最小最大对抗训练方案，其中生成器网络生成预测结果，判别器网络区分真实地图与生成地图。
• 应用数据增强和潜在空间编码技术，以提升泛化能力并从训练数据中捕捉结构先验信息。
• 使用结构相似性（SSIM）和定性视觉分析，在模拟和真实激光雷达生成的占据地图上评估模型性能。
• 将预测扩展至2.00倍，以评估在不确定性增加和空间外推程度提高情况下的性能表现。
• 结合短时程预测与长时程输出，以提升模型的鲁棒性和时间一致性。

实验结果

研究问题

• RQ1 仅基于观测数据，深度神经网络能否准确预测传感器视场范围之外的占据地图？
• RQ2 在预测未来占据地图方面，生成模型（如GANs）与全卷积网络相比表现如何？
• RQ3 模拟训练数据在多大程度上能泛化到真实世界激光雷达传感器数据？
• RQ4 随着扩展比例的增加（如1.50倍至2.00倍），预测精度如何下降？
• RQ5 当低层次细节不准确时，预测地图是否仍能提供有用且高层次的导航信息？

主要发现

• U-Net全卷积网络在合成数据上达到最高的SSIM得分0.899，表明其在占据地图预测中表现优异。
• 在真实激光雷达数据上，U-Net FF模型在1.30倍扩展时SSIM达到0.517，且GAN模型在定性细节上略优于其他架构。
• 在真实物理数据上，基于GAN的模型在定性准确性方面优于全卷积网络，尤其在保持T型交叉口等结构细节方面表现更佳。
• 即使在2.00倍扩展时，预测结果仍保持定性正确，所有示例均正确识别出T型交叉口的存在，尽管定量性能有所下降。
• 该方法有效过滤了传感器读数中的瞬态噪声，表明其在真实环境条件下对传感器伪影具有鲁棒性。
• 随着扩展比例增加，性能下降明显，U-Net FF在2.00倍时SSIM降至0.484，表明长时程预测中的不确定性持续增加。