[论文解读] Understanding User Instructions by Utilizing Open Knowledge for Service Robots

Dongcai Lu, Feng Wu+1 more|arXiv (Cornell University)|Jun 9, 2016

Robotics and Automated Systems参考文献 29被引用 4

一句话总结

本文提出了一种新颖的框架，使服务机器人能够通过利用开放知识资源和常见动词的语义角色标注来理解自然语言指令。通过整合语义角色恢复与基于答案集编程的规划，该系统能够实时生成任务计划，在RoboCup@Home竞赛中于KeJia机器人上的实际部署中实现了高准确率和高效率。

ABSTRACT

Understanding user instructions in natural language is an active research topic in AI and robotics. Typically, natural user instructions are high-level and can be reduced into low-level tasks expressed in common verbs (e.g., `take', `get', `put'). For robots understanding such instructions, one of the key challenges is to process high-level user instructions and achieve the specified tasks with robots' primitive actions. To address this, we propose novel algorithms by utilizing semantic roles of common verbs defined in semantic dictionaries and integrating multiple open knowledge to generate task plans. Specifically, we present a new method for matching and recovering semantics of user instructions and a novel task planner that exploits functional knowledge of robot's action model. To verify and evaluate our approach, we implemented a prototype system using knowledge from several open resources. Experiments on our system confirmed the correctness and efficiency of our algorithms. Notably, our system has been deployed in the KeJia robot, which participated the annual RoboCup@Home competitions in the past three years and achieved encouragingly high scores in the benchmark tests.

研究动机与目标

• 解决在服务机器人领域中解释高层级、开放式自然语言指令的挑战。
• 使机器人能够利用上下文和开放知识恢复用户指令中缺失的语义角色。
• 通过利用语义角色定义将自然语言动作映射到机器人原语，生成可执行的任务计划。
• 通过分层分解和知识复用提升可扩展性和实时性能。
• 在真实世界机器人应用中验证系统，包括在KeJia机器人上的部署。

提出的方法

• 利用FrameNet和Re-FrameNet进行语义角色标注，以定义'拿'、'放'、'清理'等常见动词的语义。
• 应用启发式方法从用户指令的上下文中恢复缺失的语义角色（例如，受事、位置）。
• 整合开放知识源（如OMICS、WordNet和WikiHow）以建模分层任务分解。
• 采用答案集编程（ASP）进行符号化任务规划，将高层指令映射为低层机器人动作序列。
• 构建知识处理管道，将自然语言输入映射为语义表示，再映射为可执行的动作序列。
• 采用模块化架构，结合自然语言理解、知识对齐和规划，以支持实时执行。

实验结果

研究问题

• RQ1 如何从不完整或模糊的自然语言指令中有效恢复常见动词的语义角色？
• RQ2 开放知识源在多大程度上能提升从自然语言指令进行任务规划的准确性和完整性？
• RQ3 基于语义角色定义和开放知识的符号化规划系统是否能在真实世界服务机器人中实现实时性能？
• RQ4 如何通过开放知识实现任务的分层分解来增强指令理解的可扩展性和鲁棒性？
• RQ5 集成多个开放知识源对系统在多样化用户指令上泛化能力的影响如何？

主要发现

• 该系统在解释和规划11,885个用户任务和467个用户意图方面实现了高准确率，语义角色恢复显著提升了计划的正确性。
• 已在KeJia机器人上成功演示实时规划，支持在家庭环境中执行复杂任务。
• OMICS与Re-FrameNet的集成实现了高效的全局规划，仅将高成本的局部规划限制在低层动作上。
• 语义角色对齐的使用提升了系统推断隐含动作（例如，为‘头痛’提供阿司匹林）的能力。
• 该原型系统已连续三年成功部署于RoboCup@Home竞赛中，取得高分基准表现。
• 该方法在可扩展性和泛化能力方面优于手工编码的动作模型，同时保持了实时性能。