[论文解读] On Computation and Generalization of Generative Adversarial Imitation Learning

Minshuo Chen, Yizhou Wang+5 more|arXiv (Cornell University)|Jan 9, 2020

Reinforcement Learning in Robotics参考文献 56被引用 9

一句话总结

本文首次对生成对抗模仿学习（GAIL）进行了理论分析，在受控的奖励函数类别下建立了统计泛化保证，并证明了在使用再生核基奖励参数化时，使用随机一阶优化方法可实现次线性收敛。该研究通过解决泛化性和计算效率问题，弥合了GAIL在实践中的成功与理论理解之间的鸿沟。

ABSTRACT

Generative Adversarial Imitation Learning (GAIL) is a powerful and practical approach for learning sequential decision-making policies. Different from Reinforcement Learning (RL), GAIL takes advantage of demonstration data by experts (e.g., human), and learns both the policy and reward function of the unknown environment. Despite the significant empirical progresses, the theory behind GAIL is still largely unknown. The major difficulty comes from the underlying temporal dependency of the demonstration data and the minimax computational formulation of GAIL without convex-concave structure. To bridge such a gap between theory and practice, this paper investigates the theoretical properties of GAIL. Specifically, we show: (1) For GAIL with general reward parameterization, the generalization can be guaranteed as long as the class of the reward functions is properly controlled; (2) For GAIL, where the reward is parameterized as a reproducing kernel function, GAIL can be efficiently solved by stochastic first order optimization algorithms, which attain sublinear convergence to a stationary solution. To the best of our knowledge, these are the first results on statistical and computational guarantees of imitation learning with reward/policy function approximation. Numerical experiments are provided to support our analysis.

研究动机与目标

• 弥合GAIL在实践中取得的成功与其缺乏统计与计算保证之间的理论鸿沟。
• 分析在一般奖励函数参数化下GAIL的泛化特性。
• 为使用再生核希尔伯特空间（RKHS）参数化奖励的GAIL建立计算收敛速率。
• 首次为在策略空间和奖励空间中均使用函数逼近的模仿学习提供统计与计算保证。
• 通过数值实验支持理论发现，验证分析的正确性。

提出的方法

• 将GAIL形式化为在策略和奖励函数上的极小极大优化问题，以专家演示数据的经验平均奖励作为负目标函数。
• 基于控制奖励函数类别的复杂度，提出泛化性分析，确保在适当的度量熵条件下实现泛化。
• 分析基于RKHS的奖励参数化下的GAIL，表明该问题可通过随机一阶方法高效求解。
• 利用目标函数的光滑性与强凸性特性，推导出基于梯度优化的次线性收敛速率，逼近稳定解。
• 通过生成器梯度与判别器最优响应的对偶形式，分析收敛动力学。
• 采用一系列涉及期望梯度、强凸性与利普希茨连续性的不等式，以界定目标函数梯度的范数。

实验结果

研究问题

• RQ1 在专家演示存在时间依赖性的情况下，GAIL在何种条件下能实现良好泛化？
• RQ2 对于任意奖励函数参数化，能否保证GAIL的统计泛化性能？
• RQ3 当使用基于核函数的奖励函数时，GAIL可实现何种计算收敛速率？
• RQ4 策略与奖励函数逼近之间的相互作用如何影响GAIL的收敛性？
• RQ5 能否在GAIL框架中为随机一阶算法建立次线性收敛性？

主要发现

• 当奖励函数类别的度量熵受控时，GAIL的泛化性能可得到保证，确保学习到的策略能泛化到未见轨迹。
• 对于基于RKHS的奖励参数化的GAIL，随机一阶优化方法可实现次线性收敛至稳定解，收敛速率为$ O(1/ ext{sqrt}(N)) $，其中$ N $为迭代次数。
• 收敛速率依赖于问题特定常数：$ B_F = rac{12 ho_g^2}{ u} + u M_H $，$ L_ u $，$ S_ u $，和$ M_G $，这些常数控制梯度范数与光滑性。
• 该方法在$ ilde{O}ig( rac{( ho_g^2/ u + u M_H)(L_ u + S_ u^2/ u)M_G}{ u^2} ig) $次迭代内可达到梯度范数的$ u $-精度。
• 数值实验验证了理论分析，显示预测的收敛行为与实际性能高度一致。
• 该分析首次为使用函数逼近的模仿学习提供了统计与计算保证，填补了理论理解中的关键空白。