[论文解读] Provable Hierarchical Imitation Learning via EM

Zhe Zhang, Ioannis Ch. Paschalidis|arXiv (Cornell University)|Oct 7, 2020

Robot Manipulation and Learning参考文献 41被引用 4

一句话总结

该论文提出了一种基于期望最大化（EM）的可证明收敛算法，用于分层模仿学习（HIL），将HIL建模为潜在变量模型中的参数推断问题。在常规条件下，该算法以高概率收敛至真实参数附近的范数球内，首次为仅使用未分割的状态-动作示范（无显式选项或监督信号）的HIL提供了理论保证。

ABSTRACT

Due to recent empirical successes, the options framework for hierarchical reinforcement learning is gaining increasing popularity. Rather than learning from rewards which suffers from the curse of dimensionality, we consider learning an options-type hierarchical policy from expert demonstrations. Such a problem is referred to as hierarchical imitation learning. Converting this problem to parameter inference in a latent variable model, we theoretically characterize the EM approach proposed by Daniel et al. (2016). The population level algorithm is analyzed as an intermediate step, which is nontrivial due to the samples being correlated. If the expert policy can be parameterized by a variant of the options framework, then under regularity conditions, we prove that the proposed algorithm converges with high probability to a norm ball around the true parameter. To our knowledge, this is the first performance guarantee for an hierarchical imitation learning algorithm that only observes primitive state-action pairs.

研究动机与目标

• 为解决分层模仿学习（HIL）中理论基础的缺失问题，现有方法多为经验性且缺乏泛化保证。
• 将HIL形式化为潜在变量模型推断问题，从而实现对学习算法的严格分析。
• 为HIL中的EM算法建立收敛性保证，尤其针对时间序列样本相关性的挑战。
• 弥合有限样本EM性能与总体水平收敛之间的差距，确保对初始化的鲁棒性。
• 为机器人学与深度强化学习中EM-based HIL方法的实际成功提供理论依据。

提出的方法

• 将HIL建模为潜在变量模型中的参数推断问题，其中选项未被观测，需从未分割的状态-动作序列中推断得出。
• 采用期望最大化（EM）算法，通过迭代的E步与M步联合估计高层策略与选项参数。
• 引入总体EM算法作为中间理论工具，基于Q函数的无限样本极限定义，以确保收敛至真实参数。
• 将有限样本EM算法视为总体EM的扰动，证明其以高概率收敛至真实参数附近的范数球。
• 建立有限样本Q函数对总体Q函数的随机收敛性，即使在数据存在时间相关性时亦成立。
• 利用一致遗忘论证与集中不等式，控制抽样随机性的影响，确保对初始化的鲁棒性。

实验结果

研究问题

• RQ1 能否为分层模仿学习中的EM算法提供理论支持并保证收敛性？
• RQ2 当仅观测到原始状态-动作对时，该算法是否能收敛至真实参数的邻域？
• RQ3 算法性能如何依赖于初始化、样本大小与模型复杂度？
• RQ4 总体EM框架能否适应具有依赖样本的时间序列潜在变量模型，如HIL？
• RQ5 抽样变异性与有限数据对HIL中EM算法收敛性的影响如何？

主要发现

• 在常规条件下，HIL的EM算法以高概率收敛至真实参数附近的范数球，首次为仅使用未分割示范的HIL提供了理论性能保证。
• 总体EM算法收敛至真实参数，且有限样本EM算法在存在时间序列相关性时，仍以高概率收敛至真实参数的邻域。
• 算法对初始化具有鲁棒性，实证验证表明：在10次迭代内，估计误差至少减少50%。
• 当样本量T较大时，遗忘因子μ对最终性能的影响可忽略不计，N=1000次迭代下，不同μ值间最大性能差异仅为0.7%。
• 随机初始化实验验证了局部收敛性：初始误差适中时（w=0.2）算法成功，初始误差较大时（w=0.3）失败，当初始值已接近最优时（w=0.1）改进甚微。
• 在多个T值（5000、8000、10000）下，均观察到估计误差在早期阶段呈指数衰减，表明算法初始阶段存在普遍的收敛模式。