[论文解读] ScoutBot: A Dialogue System for Collaborative Navigation

Stephanie M. Lukin, Felix Gervits+8 more|arXiv (Cornell University)|Jul 21, 2018

Speech and dialogue systems参考文献 9被引用 4

一句话总结

ScoutBot 是一个对话系统，可实现对模拟机器人在城市环境中协同导航的自然语言控制。它使用经过训练的自然语言理解（NLU）管道来解释非受限的口语指令，通过澄清对话解决歧义，并通过基于 ROS 的运动指令执行动作，展示了在模拟环境中稳健、低带宽的人机交互。

ABSTRACT

ScoutBot is a dialogue interface to physical and simulated robots that supports collaborative exploration of environments. The demonstration will allow users to issue unconstrained spoken language commands to ScoutBot. ScoutBot will prompt for clarification if the user's instruction needs additional input. It is trained on human-robot dialogue collected from Wizard-of-Oz experiments, where robot responses were initiated by a human wizard in previous interactions. The demonstration will show a simulated ground robot (Clearpath Jackal) in a simulated environment supported by ROS (Robot Operating System).

研究动机与目标

• 开发一种数据驱动的自动化对话系统，以支持通过自然语言与机器人进行协作探索。
• 通过支持高层级、口语化指令，减少在灾难响应等远程或高压力环境中的认知负荷和通信带宽。
• 在向全自动化过渡之前，使用 Wizard-of-Oz 框架对人机交互进行模拟与验证。
• 为模糊或不完整的指令启用澄清对话，提高在现实世界部署中的鲁棒性。
• 创建一个可扩展的研究平台，用于在模拟环境和真实环境中测试 NLU、对话策略和导航策略。

提出的方法

• 系统在 Gazebo 环境中使用模拟的 Clearpath Jackal 机器人，通过 ROS 实现传感器和运动控制。
• 自然语言输入由基于 Wizard-of-Oz 对话数据训练的 NLU 分类器处理，以提取动作指令。
• 指令被映射为 ROS Twist 消息以实现运动控制，支持前进/后退（1–10 英尺）和转向（45°–360°）等动作。
• 当指令存在歧义或不完整时，触发澄清子对话，模拟类人交互。
• 使用 rviz 实时可视化传感器数据和机器人状态，物理机器人与模拟机器人的配置完全相同。
• 通过 Python 脚本和 rospy ROS 包自动化对话管理器和机器人导航器角色。

实验结果

研究问题

• RQ1 对话系统如何解释非受限口语语言指令，以控制机器人在复杂环境中的导航？
• RQ2 在人机协作过程中，哪些类型的澄清策略能有效解决模糊或不明确的自然语言指令？
• RQ3 NLU 与基于 ROS 的控制集成如何实现模拟环境中的稳健、低带宽交互？
• RQ4 从 Wizard-of-Oz 实验过渡到自动化对话系统的可扩展架构的关键组件是什么？
• RQ5 如何将上下文感知的语言理解（例如相对地标）集成到对话驱动的导航系统中？

主要发现

• ScoutBot 能够成功解释各种非受限自然语言指令，包括基于度量的导航指令，如 '向左转 90 度' 或 '向前移动 5 英尺'。
• 当指令存在歧义时，系统能有效触发澄清对话，防止机器人执行错误或不安全的动作。
• 结合 ROS 和 Gazebo 的模拟环境可在真实世界部署前实现对话与导航系统的安全、可重复测试。
• 相同的 rviz 可视化配置适用于模拟和物理机器人，确保了测试环境的一致性。
• 自动化对话与导航流程证明了从 Wizard-of-Oz 研究向完全自主的人机协作过渡的可行性。
• 当前系统尚不支持基于地标导航或碰撞规避，表明这是未来扩展的关键方向。