[论文解读] RoboBrain: Large-Scale Knowledge Engine for Robots

Ashutosh Saxena, Ashesh Jain+4 more|arXiv (Cornell University)|Dec 1, 2014

Multimodal Machine Learning Applications参考文献 71被引用 110

一句话总结

RoboBrain 是一个大规模、多模态的知识引擎，从机器人、网络和研究项目等多样化来源聚合并整合符号、视觉、语言和触觉知识，构建统一的图结构知识库。通过使机器人能够查询该图以实现跨模态的联合推理，RoboBrain 在自然语言接地、感知和规划任务中提升了性能，实验表明其在准确性和鲁棒性方面相比独立算法有可测量的提升。

ABSTRACT

In this paper we introduce a knowledge engine, which learns and shares knowledge representations, for robots to carry out a variety of tasks. Building such an engine brings with it the challenge of dealing with multiple data modalities including symbols, natural language, haptic senses, robot trajectories, visual features and many others. The extit{knowledge} stored in the engine comes from multiple sources including physical interactions that robots have while performing tasks (perception, planning and control), knowledge bases from the Internet and learned representations from several robotics research groups. We discuss various technical aspects and associated challenges such as modeling the correctness of knowledge, inferring latent information and formulating different robotic tasks as queries to the knowledge engine. We describe the system architecture and how it supports different mechanisms for users and robots to interact with the engine. Finally, we demonstrate its use in three important research areas: grounding natural language, perception, and planning, which are the key building blocks for many robotic tasks. This knowledge engine is a collaborative effort and we call it RoboBrain.

研究动机与目标

• 解决机器人访问和推理多样化、多模态知识源（如语言、视觉、触觉、轨迹）以执行任务的挑战。
• 构建一个可扩展的协作式知识基础设施，将来自机器人、网络和研究项目的知识统一为一个单一、互联的图结构。
• 通过共享知识库实现跨模态的联合推理，提升机器人在感知、语言理解与规划任务中的性能。
• 通过标准化的查询接口（机器人查询库）支持研究人员和机器人，实现对最先进知识表示的无缝访问。
• 通过实证验证，知识共享通过 RoboBrain 能够提升现有算法在自然语言接地和路径规划中的表现。

提出的方法

• 使用异构图结构（节点表示概念，有向边表示关系）从多样化来源（包括机器人交互、网络数据（如维基百科、WordNet）和研究项目）表示知识。
• 通过统一图模型表示多模态知识，其中节点代表实体（如物体、动作、姿态），边编码语义、空间、功能和感知关系。
• 实现机器人查询库（RQL），使机器人和研究人员能够发出高层级查询（如“为瓶子找到抓取方式”），并从图中检索相关知识。
• 使用概率推理选择最优知识表示：通过最大化给定输入指令、证据和模型先验下推断输出的可能性，即 $ \text{argmax}_{\text{representation}} P(\text{inferred}|\text{evidence}, \text{language}, w^*)P(\text{model}) $。
• 通过基于云的架构支持分布式、并发的更新与检索，以实现大规模协作式知识共享。
• 整合来自多个机器人研究项目及外部来源（如 ImageNet、Kinect 数据集）的知识，以丰富图结构并提升连通性。

实验结果

研究问题

• RQ1 如何有效将来自异构来源的多模态知识（符号、语言、视觉、触觉）整合到统一、可查询的结构中？
• RQ2 与孤立算法相比，RoboBrain 中共享知识表示在机器人任务（如自然语言接地和路径规划）中的性能提升程度如何？
• RQ3 RoboBrain 图的连通性与独立知识源相比如何？是否能实现更好的跨机器人任务泛化能力？
• RQ4 基于图的知识引擎能否支持机器人系统中感知、语言与规划的实时联合推理？
• RQ5 协作式知识共享对机器人推理系统准确性和鲁棒性的影响是什么？

主要发现

• RoboBrain 的图包含 44,347 个节点和 98,465 条边，跨项目和模态的连通性显著，相比孤立知识源，平均节点度数提高了 0.8。
• 度分布分析表明，RoboBrain 成功减少了孤立节点（度数为 1 和 2）的数量，同时增加了高度连接节点（度数 ≥3）的数量，表明概念之间的互联性得到改善。
• 在自然语言接地任务中，通过查询 RoboBrain 获取最优表示后性能提升：IED（字符串编辑距离）从 Algorithm A 的 31.7 和 Algorithm B 的 23.7 降低至 RoboBrain A+B 的 34.2；EED（语义距离）从 16.3 和 27.0 提升至 24.2（归一化至 100，数值越高越好）。
• RoboBrain 的知识共享显著提升了路径规划与语言接地算法的性能，证明跨多模态知识的联合推理可增强推理准确性。
• 该系统成功使机器人能够执行复杂任务，如“从厨房端来一杯甜茶”，通过检索并整合关于物体位置、抓取方式、倒液操作和空间约束的知识。
• 机器人查询库（RQL）使研究人员能够轻松访问并将其系统集成最先进的知识表示，促进知识复用与协作。