[论文解读] Navigation Agents for the Visually Impaired: A Sidewalk Simulator and Experiments

Martin Weiß, Simon Chamorro+8 more|PolyPublie (École Polytechnique de Montréal)|Oct 29, 2019

Tactile and Sensory Interactions参考文献 31被引用 5

一句话总结

本文提出SEVN，一种新型人行道仿真环境，配备高分辨率全景图像和标注的场景元素（如门牌号、门、街道路牌），用于训练强化学习智能体，以协助盲人及视力障碍者实现户外导航。采用近端策略优化（PPO）方法，结合视觉、文本和GPS输入的多模态融合模型在导航至目标门的测试中取得了74.9%的成功率，证明了多模态感知在类真实城市导航任务中的有效性。

ABSTRACT

Millions of blind and visually-impaired (BVI) people navigate urban environments every day, using smartphones for high-level path-planning and white canes or guide dogs for local information. However, many BVI people still struggle to travel to new places. In our endeavor to create a navigation assistant for the BVI, we found that existing Reinforcement Learning (RL) environments were unsuitable for the task. This work introduces SEVN, a sidewalk simulation environment and a neural network-based approach to creating a navigation agent. SEVN contains panoramic images with labels for house numbers, doors, and street name signs, and formulations for several navigation tasks. We study the performance of an RL algorithm (PPO) in this setting. Our policy model fuses multi-modal observations in the form of variable resolution images, visible text, and simulated GPS data to navigate to a goal door. We hope that this dataset, simulator, and experimental results will provide a foundation for further research into the creation of agents that can assist members of the BVI community with outdoor navigation.

研究动机与目标

• 为解决缺乏针对盲人及视力障碍（BVI）行人定制的、真实且开源的导航智能体训练环境的问题。
• 开发一种支持多模态观测（全景图像、可见文本、模拟GPS）的仿真环境，以实现稳健的户外导航。
• 在类真实的都市人行道环境中，评估融合视觉、文本和空间输入的强化学习策略的性能。
• 通过发布数据集、仿真器和训练模型，为未来辅助导航系统的研究提供基础。

提出的方法

• SEVN仿真器基于在蒙特利尔小意大利区六公里人行道上采集的4,988张高分辨率全景图像构建，采用图结构表示。
• 每张全景图像均经过地理配准，并标注了门牌号、门和街道路牌，构成逼真的城市导航环境。
• 该环境兼容OpenAI Gym，支持多种导航任务，使用多模态观测：可变分辨率图像、提取的可见文本和模拟GPS数据。
• 使用多模态融合架构训练近端策略优化（PPO）智能体，从起始人行道位置导航至目标门。
• 策略模型将图像（84×84分辨率）、可见文本（OCR提取）和GPS坐标输入融合为单一嵌入向量，用于动作预测。
• 设计了密集奖励函数以鼓励向目标前进，对成功抵达目标门施加稀疏密集奖励。

实验结果

研究问题

• RQ1 强化学习智能体能否在真实城市人行道环境中，通过多模态输入有效导航至特定门？
• RQ2 与仅依赖视觉或仅依赖GPS的输入相比，加入可见文本和GPS数据对导航性能有何影响？
• RQ3 所学习的策略与最优路径规划器（oracle path planner）在成功率和轨迹效率方面存在多大差距？
• RQ4 不同输入模态（图像、文本、GPS）在导航策略泛化和鲁棒性方面分别起到何种作用？
• RQ5 配备真实世界图像和场景标注的仿真环境，能否支持为BVI用户训练出可泛化的导航策略？

主要发现

• 结合图像、可见文本和GPS的多模态融合模型（AllObs）在训练200万帧后达到74.9%的成功率，最佳变体甚至达到85%的成功率。
• AllObs模型收敛更快且性能显著优于所有基线模型，表明多模态融合能有效提升导航策略的学习效果。
• 仅使用图像的模型（ImgOnly）成功率达到55%以上，证明即使低分辨率视觉输入对导航也至关重要；而无图像基线（NoImg）的表现甚至低于随机行走。
• 无GPS的模型（NoGPS）性能优于仅使用图像的基线，表明可见文本提供了超越视觉外观的有意义导航线索。
• 最佳性能模型的轨迹平均比最优oracle路径长40%，表明尽管成功率高，但在路径效率方面仍有改进空间。
• 分析显示，智能体偶尔会重复执行错误动作（如反复左右转）或尝试向墙壁前进，表明在局部障碍物避让和策略泛化方面仍存在挑战。