[论文解读] Robot-Initiated Specification Repair through Grounded Language Interaction

Adrian Boteanu, Jacob Arkin+3 more|arXiv (Cornell University)|Oct 3, 2017

Robot Manipulation and Learning参考文献 18被引用 14

一句话总结

本文提出了一种由机器人发起的规范修复框架，结合形式化综合与基于语境的自然语言交互，以解决不可实现的任务规范问题。通过从LTL规范中生成环境假设，并以自然语言提示用户确认或拒绝这些假设，系统能够主动纠正模糊或不完整的指令，在动态环境中通过迭代式人机协作提升任务成功率。

ABSTRACT

Robots are required to execute increasingly complex instructions in dynamic environments, which can lead to a disconnect between the user's intent and the robot's representation of the instructions. In this paper we present a natural language instruction grounding framework which uses formal synthesis to enable the robot to identify necessary environment assumptions for the task to be successful. These assumptions are then expressed via natural language questions referencing objects in the environment. The user is prompted to confirm or reject the assumption. We demonstrate our approach on two tabletop pick-and-place tasks.

研究动机与目标

• 解决因任务描述不完整或模糊导致机器人误解自然语言指令的挑战。
• 使机器人能够主动识别并解决阻碍任务成功执行的规范冲突。
• 通过将抽象的逻辑假设与物理对象相关的自然语言问题相结合，促进人机交互。
• 通过用户对环境假设的反馈，提升规范准确性和任务成功率。
• 在Baxter机器人和模拟环境中，对真实世界的拾取-放置任务演示该框架。

提出的方法

• 使用预训练的V-DCG模型将自然语言指令（NLI）转化为线性时序逻辑（LTL）规范。
• 应用形式化综合检查LTL规范是否可实现；若不可实现，则识别出不可实现的条件。
• 从不可实现的规范中提取环境假设，以限制有问题的环境行为。
• 将这些假设转化为涉及物理对象的自然语言问题（例如，“红色方块是否总在容器中？”），供用户确认。
• 使用语音识别与文本转语音管道，实现在实体机器人上的语音交互。
• 在用户批准假设后重新进行综合，生成经过验证且可执行的控制器。

实验结果

研究问题

• RQ1 机器人如何检测并解决导致任务不可实现的自然语言指令中的规范冲突？
• RQ2 如何有效将抽象的逻辑假设转化为人类可理解的关于环境的自然语言查询？
• RQ3 机器人发起的、基于语境的自然语言交互是否能在无需用户具备专业知识的情况下提升规范准确性和任务成功率？
• RQ4 该系统在具有相互依赖动作的复杂多步任务中如何处理规范修复？
• RQ5 该框架在不同环境和指令语料库之间具有多大程度的泛化能力？

主要发现

• 该系统在两个桌面任务（分类与堆叠）的60条自然语言指令中成功识别并解决了规范不可实现的问题。
• 当在完整语料库上进行训练和测试时，V-DCG模型恢复了60条指令中的42条（17条堆叠，25条分类）；当分别进行训练和测试时，恢复了19/21条堆叠指令和28/39条分类指令。
• 该模型在联合指令语料库中实现了99.9872%的符号因子覆盖率，表明其对语言和物理要素具有强大的特征表示能力。
• 机器人发起的交互框架通过在上下文中基于语境的自然语言表达假设，降低了对用户专业知识的依赖。
• 该方法在配备RGBD传感、运动规划和视觉伺服控制的实体Baxter机器人上得到了验证，证明了其可行性。
• 在16个模拟环境中的评估表明，该规范修复过程在不同环境条件下均具有鲁棒性。