[论文解读] On the Correctness and Sample Complexity of Inverse Reinforcement Learning

Abi Komanduru, Jean Honorio|arXiv (Cornell University)|Jan 1, 2019

Gene Regulatory Network Analysis被引用 5

一句话总结

本文针对有限MDP中的逆强化学习（IRL）问题，提出了一种几何的、与算法无关的分析方法，通过L1正则化SVM公式恢复能够诱导出给定最优策略的奖励函数。该方法建立了在满足贝尔曼最优性条件下的奖励函数恢复的样本复杂度为$ O(d^2 "log(nk)) $，其中$ d $为转移矩阵每行的最大非零元素个数，$ n $为状态数，$ k $为动作数。

ABSTRACT

Inverse reinforcement learning (IRL) is the problem of finding a reward function that generates a given optimal policy for a given Markov Decision Process. This paper looks at an algorithmic-independent geometric analysis of the IRL problem with finite states and actions. A L1-regularized Support Vector Machine formulation of the IRL problem motivated by the geometric analysis is then proposed with the basic objective of the inverse reinforcement problem in mind: to find a reward function that generates a specified optimal policy. The paper further analyzes the proposed formulation of inverse reinforcement learning with $n$ states and $k$ actions, and shows a sample complexity of $O(d^2 \log (nk))$ for transition probability matrices with at most $d$ non-zeros per row, for recovering a reward function that generates a policy that satisfies Bellman's optimality condition with respect to the true transition probabilities.

研究动机与目标

• 为有限状态和有限动作MDP中的逆强化学习问题提供一种几何的、与算法无关的分析。
• 开发一种奖励恢复方法，确保学习到的策略在真实转移概率下满足贝尔曼最优性条件。
• 在转移矩阵具有稀疏性约束的条件下，建立IRL的样本复杂度边界。

提出的方法

• 通过分析策略空间中最优策略与奖励函数的结构，将IRL问题形式化为几何优化任务。
• 引入L1正则化支持向量机（SVM）框架以求解IRL问题，促进恢复的奖励函数的稀疏性。
• 利用几何洞察：最优策略位于由贝尔曼最优性约束定义的半空间交集中。
• 推导出一个凸优化公式，确保学习到的奖励函数在真实动态下生成目标策略。
• 在每行转移概率矩阵中非零元素个数不超过$ d $的假设下，分析样本复杂度。
• 建立恢复有效奖励函数所需演示次数的理论边界。

实验结果

研究问题

• RQ1 有限MDP中逆强化学习问题的根本几何结构是什么？
• RQ2 如何高效地恢复奖励函数，使其在真实动态下诱导出给定的最优策略？
• RQ3 恢复满足贝尔曼最优性条件的奖励函数所需的最少演示次数是多少？
• RQ4 转移矩阵的稀疏性如何影响IRL的样本复杂度？
• RQ5 像L1正则化SVM这样的凸优化公式能否在IRL中有效应用并提供理论保证？

主要发现

• 所提出的L1正则化SVM公式为逆强化学习提供了一种具有几何基础且凸的求解方法。
• 该方法确保恢复的奖励函数在真实转移概率下生成的策略满足贝尔曼最优性条件。
• 该方法的样本复杂度为$ O(d^2 \log(nk)) $，其中$ d $为转移矩阵每行的最大非零元素个数。
• 该边界对$ nk $的乘积呈对数依赖，表明其在状态空间和动作空间规模增大时仍具可扩展性。
• 分析表明，转移矩阵的稀疏性可减少可靠奖励恢复所需的演示次数。
• 该理论框架与具体IRL算法无关，为未来方法提供了通用的几何基础。