[论文解读] On the Performance of Maximum Likelihood Inverse Reinforcement Learning

Héctor Ratia, Luis Montesano+1 more|arXiv (Cornell University)|Feb 7, 2012

Reinforcement Learning in Robotics参考文献 30被引用 3

一句话总结

本文将最大似然逆强化学习（IRL）与现有IRL方法进行对比评估，结果表明其在策略相似性和累积奖励方面始终优于其他方法。该方法采用基于梯度优化的概率推理框架，其高效的梯度近似方法在显著降低计算成本的同时，实现了近乎相同的性能表现。

ABSTRACT

Inverse reinforcement learning (IRL) addresses the problem of recovering a task description given a demonstration of the optimal policy used to solve such a task. The optimal policy is usually provided by an expert or teacher, making IRL specially suitable for the problem of apprenticeship learning. The task description is encoded in the form of a reward function of a Markov decision process (MDP). Several algorithms have been proposed to find the reward function corresponding to a set of demonstrations. One of the algorithms that has provided best results in different applications is a gradient method to optimize a policy squared error criterion. On a parallel line of research, other authors have presented recently a gradient approximation of the maximum likelihood estimate of the reward signal. In general, both approaches approximate the gradient estimate and the criteria at different stages to make the algorithm tractable and efficient. In this work, we provide a detailed description of the different methods to highlight differences in terms of reward estimation, policy similarity and computational costs. We also provide experimental results to evaluate the differences in performance of the methods.

研究动机与目标

• 比较最大似然IRL与现有IRL算法在模仿学习设置下的性能表现。
• 分析IRL中梯度计算的计算效率与估计精度之间的权衡。
• 评估一种假设小奖励变化对策略影响可忽略的梯度近似方法的有效性。
• 评估不同IRL方法在未见状态上的泛化能力以及与专家策略的相似性保持程度。
• 确定最大似然IRL是否相比策略匹配方法能提供更鲁棒且紧凑的奖励函数表示。

提出的方法

• 采用最大似然估计框架，从专家演示中推断奖励函数，将专家策略视为概率观测。
• 使用基于梯度的优化方法，最小化在所学策略下专家所演示动作的负对数似然。
• 提出一种计算高效的梯度近似方法，通过假设小的奖励扰动仅引起小的策略变化，避免求解固定点方程。
• 将该近似方法应用于将每轮迭代的计算成本从指数时间降低至多项式时间，同时保持解的质量。
• 将该方法与三种IRL基线方法（GIRL、MWAL和PM）进行对比，分别使用精确梯度和近似梯度。
• 采用两个指标评估性能：策略相似性（匹配动作的比例）和在专家奖励函数下的累积奖励。

实验结果

研究问题

• RQ1 在策略相似性和累积奖励方面，最大似然IRL相较于策略匹配方法及其他IRL基线方法的性能表现如何？
• RQ2 使用近似梯度替代精确梯度对IRL算法的准确性与收敛性有何影响？
• RQ3 该梯度近似方法是否能在显著降低计算时间的同时实现接近最优的性能？
• RQ4 为何MWAL在某些设置下表现不佳，尽管其在独立性假设下表现良好？
• RQ5 最大似然IRL在未见状态上的泛化能力如何，其在环境变化下是否保持鲁棒性？

主要发现

• 在帆船问题中，最大似然IRL实现了最佳累积奖励 -11.76，与专家表现完全一致。
• GIRL和PM方法表现强劲，其中GIRL在所有梯度计算变体中均在策略相似性和奖励累积方面持续优于其他方法。
• 梯度近似方法将计算时间最多减少80%，同时对解质量的损失可忽略不计。
• MWAL在固定点和单步递归设置下表现不佳，尽管在独立性假设下获得了相对较好的奖励（-395.45），表明其收敛性存在不稳定性。
• PM和MWAL方法因少数次优动作（如逆风航行）导致显著的奖励损失，而GIRL和最大似然IRL则成功避免了此类行为。
• 所提出的梯度近似方法在将运行时间从约300秒降低至最佳情况下不足40秒的同时，保持了超过93%的策略相似性与高奖励准确性。