[论文解读] The CRAM Cognitive Architecture for Robot Manipulation in Everyday Activities

Michael Beetz, Gayane Kazhoyan+1 more|arXiv (Cornell University)|Apr 27, 2023

AI-based Problem Solving and Planning被引用 7

一句话总结

本文提出CRAM，一种混合认知架构，通过基于知识的推理、生成模型和数字孪生推理，将模糊的动作描述解析为参数化的运动规划，使机器人能够执行日常操作任务。该架构在符号与非符号系统融合的基础上，实现了上下文感知、可解释且自适应的规划，成功执行了复杂的厨房任务。

ABSTRACT

This paper presents a hybrid robot cognitive architecture, CRAM, that enables robot agents to accomplish everyday manipulation tasks. It addresses five key challenges that arise when carrying out everyday activities. These include (i) the underdetermined nature of task specification, (ii) the generation of context-specific behavior, (iii) the ability to make decisions based on knowledge, experience, and prediction, (iv) the ability to reason at the levels of motions and sensor data, and (v) the ability to explain actions and the consequences of these actions. We explore the computational foundations of the CRAM cognitive model: the self-programmability entailed by physical symbol systems, the CRAM plan language, generalized action plans and implicit-to-explicit manipulation, generative models, digital twin knowledge representation & reasoning, and narrative-enabled episodic memories. We describe the structure of the cognitive architecture and explain the process by which CRAM transforms generalized action plans into parameterized motion plans. It does this using knowledge and reasoning to identify the parameter values that maximize the likelihood of successfully accomplishing the action. We demonstrate the ability of a CRAM-controlled robot to carry out everyday activities in a kitchen environment. Finally, we consider future extensions that focus on achieving greater flexibility through transformational learning and metacognition.

研究动机与目标

• 解决日常机器人操作中任务规格不明确的挑战。
• 通过知识、经验和预测实现特定上下文的行为生成。
• 在统一的认知框架内，支持对动作、传感器数据和运动等多层次的推理。
• 通过支持叙事的事件记忆和数字孪生知识表示，实现对动作及其后果的可解释性。
• 展示在厨房等真实环境中实现自主、灵活操作的可行性。

提出的方法

• CRAM采用混合认知架构，将符号推理与非符号处理相结合，以在机器人中建模类人认知能力。
• 它使用广义动作计划作为模板，用于‘取物’、‘放置’、‘倒液’和‘切割’等动作，参数化为特定上下文的值。
• 通过三步过程将高层动作指示符解析为低层运动、位置和物体指示符：执行模糊动作描述、解释广义计划，以及将指示符解析为可执行的运动规划。
• 上下文化过程使用生成模型，基于知识和传感器数据推断最优参数值，以最大化成功概率。
• 数字孪生知识表示支持在执行前对物理交互及其后果进行仿真与推理。
• 支持叙事的事件记忆使系统能够使用结构化、人类可读的叙事，解释动作及其结果。

实验结果

研究问题

• RQ1 认知架构如何在真实环境中将模糊的动作描述解析为可执行的、上下文相关的运动规划？
• RQ2 机器人在操作任务中，通过何种机制实现在传感器数据、运动和高层动作等多层级之间的推理？
• RQ3 生成模型和数字孪生如何用于在不确定、动态环境中预测并优化动作结果？
• RQ4 可解释推理与叙事记忆在提升机器人行为透明度与可信度方面有哪些作用？
• RQ5 混合符号与非符号处理如何支持在日常活动中实现灵活、自适应且可自编程的机器人行为？

主要发现

• CRAM在厨房环境中成功执行了复杂的日常操作任务，包括取物、放置、倒液和切割，表现出在真实条件下的鲁棒性。
• 该架构通过生成模型将高层动作指示符成功转化为参数化运动规划，模型基于上下文和知识推断最优参数。
• 基于数字孪生的推理实现了对动作结果的准确仿真与预测，提升了规划的可靠性与安全性。
• 支持叙事的事件记忆使系统能够生成人类可读的动作及其后果解释，增强了透明度。
• 符号规划与非符号感知及学习的整合，使系统能够灵活适应多变的任务规格与环境条件。
• 系统通过物理符号系统实现自编程能力，能够基于经验与新知识动态重构动作规划。