[论文解读] Research of the Robot's Learning Effectiveness in the Changing Environment

Valery Vilisov|arXiv (Cornell University)|Jan 1, 2014

Aerospace Engineering and Control Systems被引用 3

一句话总结

本文提出了一种自适应学习框架，用于机器人系统在资源分配任务中通过反向线性规划（reverse linear programming）动态调整以适应不断变化的操作员偏好。通过根据观察到的决策持续更新目标函数系数，机器人能够调整其行为；然而，在偏好快速变化时，其有效性急剧下降，暴露出适应速度的关键局限。

ABSTRACT

The object of the research is the adaptive algorithms that are used by the operator when educating the robotic systems. Operator, being the target-setting subject, is interested in the goal that robotic systems, being the conductor of his targets (criteria), would provide a maximum effectiveness of these targets' (criteria's) achievement. Thus, the adaptive algorithms provide the adequate reflection of the operator's goals, found in the robotic systems' actions. This work considers potential possibilities of such target adaption of the robotic systems used for the class of the allocation problems.

研究动机与目标

• 开发一种方法，使机器人系统能够在资源分配过程中实时推断并适应操作员偏好的变化。
• 分析非平稳目标偏好对机器人学习有效性的影响。
• 识别在偏好变化动力学中导致机器人适应失败的关键阈值。

提出的方法

• 使用反向线性规划（LPP）从观察到的操作员决策中估计目标函数系数向量（𝑐̂）。
• 采用迭代的、基于观察的学习循环：(1) 在新条件下观察操作员的选择，(2) 评估解的质量（优/劣），(3) 求解反向LPP以优化𝑐̂。
• 在离线或在线模式下使用双循环算法，利用回溯或实时数据更新偏好模型。
• 将偏好建模为效用函数，以实现对复杂、相互依赖标准的非线性适应。
• 将机器人系统的适应时间τ视为关键指标，定义为在指定置信度下𝑐̂与真实偏好向量匹配所需的步数。
• 在二维LPP中进行模仿实验，以模拟具有𝑐̅向量阶跃变化的非平稳环境。

实验结果

研究问题

• RQ1 在动态环境中，机器人系统多快能够学习并适应新的操作员偏好？
• RQ2 在机器人性能显著下降之前，适应速度的极限是什么？
• RQ3 目标偏好的非平稳性如何影响机器人在分配任务中学习的有效性？
• RQ4 反向LPP能否可靠地从观察到的决策中估计主观偏好结构？
• RQ5 问题维度与适应时间τ之间存在何种关系？

主要发现

• 适应时间τ随问题维度的增加而增加，表明高维问题需要更多观测才能学习偏好。
• 在真实目标函数发生阶跃型变化时（例如，从[0.8, 0.6]ᵀ变为[0.6, 0.8]ᵀ），机器人的有效性急剧下降，并呈现锯齿状波动，表现为快速下降与缓慢恢复。
• 当偏好变化超过学习模型的适应速度时，机器人决策的平均时间平均有效性显著下降。
• 该模型的有效性对偏好变化的动力学极为敏感——快速变化会超过学习速度，导致长时间处于次优性能状态。
• 在偏好发生偏移后需要对模型进行再教育，但如果变化速度超过学习算法的响应能力，系统将无法维持高效率。
• 在偏好变化速率超过某一临界阈值后，由于适应延迟，机器人系统的功能显著降低。