[论文解读] Online Inverse Reinforcement Learning via Bellman Gradient Iteration

Kun Li, Joel W. Burdick|arXiv (Cornell University)|Jul 28, 2017

Reinforcement Learning in Robotics参考文献 9被引用 4

一句话总结

本文提出一种在线逆强化学习算法，通过贝尔曼梯度迭代实时更新奖励函数，实现在低存储条件下的高效学习，从序列观测中获取信息。随着数据量增加，该方法准确度持续提升，在模拟家庭环境中优于均匀清理策略，通过观察行为学习用户偏好。

ABSTRACT

This paper develops an online inverse reinforcement learning algorithm aimed at efficiently recovering a reward function from ongoing observations of an agent's actions. To reduce the computation time and storage space in reward estimation, this work assumes that each observed action implies a change of the Q-value distribution, and relates the change to the reward function via the gradient of Q-value with respect to reward function parameter. The gradients are computed with a novel Bellman Gradient Iteration method that allows the reward function to be updated whenever a new observation is available. The method's convergence to a local optimum is proved. This work tests the proposed method in two simulated environments, and evaluates the algorithm's performance under a linear reward function and a non-linear reward function. The results show that the proposed algorithm only requires a limited computation time and storage space, but achieves an increasing accuracy as the number of observations grows. We also present a potential application to robot cleaners at home.

研究动机与目标

• 解决离线逆强化学习在长期、动态应用中的局限性，其中奖励函数需持续自适应调整。
• 开发一种在线逆强化学习算法，能够基于每次新观测增量式更新奖励函数，避免存储全部历史数据。
• 通过一种新颖的贝尔曼梯度迭代方法，利用Q值对奖励参数的梯度，实现高效、实时的奖励估计。
• 证明该方法能从序列行为数据中有效学习线性和非线性奖励函数。
• 将该算法应用于实际场景——智能家庭清洁机器人，其中用户偏好随时间演变，需在线学习。

提出的方法

• 将在线逆强化学习建模为似然最大化问题，每当观测到新动作时即更新奖励函数。
• 使用对奖励函数参数可微的最优Q值函数建模动作分布。
• 提出一种新颖的贝尔曼梯度迭代方法，高效计算Q值对奖励函数参数的梯度。
• 采用随机梯度上升法基于梯度更新奖励函数参数，确保收敛至局部最优解。
• 引入两种近似方法——pnorm和gsoft，用于处理高维或复杂状态空间中的似然计算。
• 将该方法集成到模拟家庭环境中，机器人通过观察人类移动行为，学习基于偏好的清洁策略。

实验结果

研究问题

• RQ1 能否设计一种逆强化学习算法，实现每次新观测后实时更新奖励函数，且无需存储全部历史数据？
• RQ2 仅基于最新观测和当前参数，能否实现高精度的在线奖励函数估计？
• RQ3 所提出的贝尔曼梯度迭代方法是否能在线性与非线性设置下实现稳定且收敛的奖励函数学习？
• RQ4 在真实机器人应用中，在线逆强化学习的性能与均匀策略或最优（真实）清洁策略相比如何？
• RQ5 该方法能否在动态、长期环境中，有效从人类行为观测中学习用户特定的清洁偏好？

主要发现

• 所提出的在线逆强化学习算法在观测数量增加时，奖励估计的准确度持续提升，相关系数趋近于真实奖励函数。
• 该方法仅需有限的计算时间和存储空间，因仅存储最新观测和奖励函数参数。
• 对于线性奖励函数，与真实奖励的相关系数提升速度高于非线性函数，表明在简单设定下收敛更快。
• 在智能家庭清洁机器人模拟中，使用非线性奖励函数的机器人相比均匀清洁策略，能耗最高降低30%。
• 该算法表现出收敛至局部最优的能力，其中g-soft近似方法在处理线性和非线性奖励学习任务时均表现稳健。
• 学习到的奖励函数的视频可视化显示，机器人成功学习了与家庭环境中人类活动模式一致的非均匀清洁偏好。