[论文解读] Self-learning and adaptation in a sensorimotor framework

Ali Ghadirzadeh, Judith Bütepage+2 more|arXiv (Cornell University)|Jan 5, 2016

Gaussian Processes and Bayesian Inference参考文献 15被引用 4

一句话总结

该论文提出了一种自学习的感官运动框架，使机器人能够使用具有自动相关性确定（ARD）的高斯过程进行降维，自主学习并适应其运动指令。通过结合RRT*进行长期规划与基于梯度的优化实现实时动作选择，该系统实现了快速、数据高效的训练（少于12秒），并能迅速适应环境变化（如增加负载），在高维关节空间控制中表现出实时性能。

ABSTRACT

We present a general framework to autonomously achieve a task, where autonomy is acquired by learning sensorimotor patterns of a robot, while it is interacting with its environment. To accomplish the task, using the learned sensorimotor contingencies, our approach predicts a sequence of actions that will lead to the desirable observations. Gaussian processes (GP) with automatic relevance determination is used to learn the sensorimotor mapping. In this way, relevant sensory and motor components can be systematically found in high-dimensional sensory and motor spaces. We propose an incremental GP learning strategy, which discerns between situations, when an update or an adaptation must be implemented. RRT* is exploited to enable long-term planning and generating a sequence of states that lead to a given goal; while a gradient-based search finds the optimum action to steer to a neighbouring state in a single time step. Our experimental results prove the successfulness of the proposed framework to learn a joint space controller with high data dimensions (10$ imes$15). It demonstrates short training phase (less than 12 seconds), real-time performance and rapid adaptations capabilities.

研究动机与目标

• 实现无需先验专家知识或机器人模型假设的自主感官运动任务学习。
• 解决在不确定性和动态环境变化下高维感官与运动空间的挑战。
• 开发一种能够检测并适应外部扰动（如负载或任务条件变化）的系统。
• 将长期规划与实时动作优化相结合，用于受限的非凸控制任务。
• 在自动识别相关感官与运动维度的同时，实现数据高效、增量式学习。

提出的方法

• 使用具有自动相关性确定（ARD）的高斯过程，学习前向感官运动映射，并在高维空间中识别相关输入维度。
• 采用增量式学习策略，根据预测误差区分模型更新与系统适应。
• 应用带有目标偏向采样的RRT*，生成最小化超调并满足任务约束的动作序列。
• 在每个时间步使用基于梯度的优化，计算向邻近状态转移的最优动作。
• 通过检测预测与实际感官结果（如关节位置）之间的不匹配，在预测误差超过阈值时触发适应。
• 用在新条件下收集的新测量数据替换过时的训练数据对，以实现快速适应。

实验结果

研究问题

• RQ1 机器人如何仅通过感官运动反馈，在无先验模型或专家示范的情况下，自主学习最优运动指令？
• RQ2 系统如何在任务执行过程中检测并适应环境变化（如增加负载）？
• RQ3 RRT*规划在多大程度上能通过最小化超调来提升高维控制任务中的轨迹质量？
• RQ4 自动相关性确定在通过识别相关感官与运动组件来降低计算成本方面有多有效？
• RQ5 该框架能否在复杂、动态环境中保持实时性能并实现快速收敛？

主要发现

• 该框架在10×15维的任务空间中，于12秒内成功完成了关节空间控制器的学习。
• 系统表现出实时性能，能快速适应外部扰动，如在机械臂夹持器上增加300克负载。
• 通过降维，系统减少了超调并在目标状态稳定下来，如图6（左）所示，规划在约32秒后开始。
• 当预测误差超过阈值时触发适应，使系统能在数次迭代内检测并纠正施加力矩的不匹配。
• RRT*规划成功生成了避免超调的动作序列，如图7所示，通过优先选择靠近目标的采样点并最小化代价。
• 该方法实现了对变化的主动检测，并在条件改变时用新测量数据替换过时的训练数据，确保了对动态环境的鲁棒性。