[论文解读] Toward the Fundamental Limits of Imitation Learning

Nived Rajaraman, Lin F. Yang+2 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics被引用 2

一句话总结

本文建立了马尔可夫决策过程（MDP）中模仿学习的首个极小极大统计界限，表明即使在拥有 $N$ 个专家轨迹的情况下，次优性仍受 $\lesssim |\mathcal{S}| H^2 \log N / N$ 限制，且适用于一般随机型专家。本文提出一种新颖的最小距离算法，在已知转移模型时，实现 $\lesssim \min\{ H \sqrt{|\mathcal{S}| / N}, |\mathcal{S}| H^{3/2} / N \}$ 的次优性，相比先前结果至少提升了 $\sqrt{H}$ 倍的速率。

ABSTRACT

Imitation learning (IL) aims to mimic the behavior of an expert policy in a sequential decision-making problem given only demonstrations. In this paper, we focus on understanding the minimax statistical limits of IL in episodic Markov Decision Processes (MDPs). We first consider the setting where the learner is provided a dataset of $N$ expert trajectories ahead of time, and cannot interact with the MDP. Here, we show that the policy which mimics the expert whenever possible is in expectation $\lesssim \frac{|\mathcal{S}| H^2 \log (N)}{N}$ suboptimal compared to the value of the expert, even when the expert follows an arbitrary stochastic policy. Here $\mathcal{S}$ is the state space, and $H$ is the length of the episode. Furthermore, we establish a suboptimality lower bound of $\gtrsim |\mathcal{S}| H^2 / N$ which applies even if the expert is constrained to be deterministic, or if the learner is allowed to actively query the expert at visited states while interacting with the MDP for $N$ episodes. To our knowledge, this is the first algorithm with suboptimality having no dependence on the number of actions, under no additional assumptions. We then propose a novel algorithm based on minimum-distance functionals in the setting where the transition model is given and the expert is deterministic. The algorithm is suboptimal by $\lesssim \min \{ H \sqrt{|\mathcal{S}| / N} , |\mathcal{S}| H^{3/2} / N \}$, showing that knowledge of transition improves the minimax rate by at least a $\sqrt{H}$ factor.

研究动机与目标

• 为了理解在回合式马尔可夫决策过程（MDP）中模仿学习的根本统计界限。
• 在各种设置下（包括被动示范和主动查询）推导模仿学习次优性的紧致极小极大下界。
• 开发一种利用已知转移模型以改进模仿学习极小极大速率的新算法。
• 建立已知转移模型可使极小极大速率至少提升 $\sqrt{H}$ 倍的结论。

提出的方法

• 本文分析了在 $N$ 个专家轨迹下，回合式 MDP 中模仿学习的极小极大次优性，假设学习者无法与环境交互。
• 推导出次优性的下界为 $\gtrsim |\mathcal{S}| H^2 / N$，即使专家是确定性的，或学习者可在交互过程中主动查询专家，该下界依然成立。
• 针对转移模型已知且专家为确定性的情形，提出一种基于最小距离泛函的新型算法。
• 该算法通过最小化专家行为与学习者策略之间的距离泛函，利用 MDP 的结构知识。
• 该算法的次优性被限制在 $\lesssim \min\{ H \sqrt{|\mathcal{S}| / N}, |\mathcal{S}| H^{3/2} / N \}$，表明其具有更优的样本效率。
• 分析表明，与未知转移模型的情形相比，已知转移模型可使极小极大速率提升至少 $\sqrt{H}$ 倍。

实验结果

研究问题

• RQ1 在具有 $N$ 个专家轨迹的回合式 MDP 中，一般随机型专家下，模仿学习的根本统计界限是什么？
• RQ2 当专家被限制为确定性或允许主动查询时，极小极大次优性边界如何变化？
• RQ3 能否通过利用 MDP 转移模型的知识，设计一种新算法以实现更优的样本效率？
• RQ4 在已知转移模型的情况下，模仿学习可实现的最优次优性速率是多少？
• RQ5 极小极大速率如何随状态空间大小 $|\mathcal{S}|$、回合长度 $H$ 和示范数量 $N$ 变化？

主要发现

• 当专家为随机型且学习者拥有 $N$ 条轨迹时，模仿学习的极小极大次优性上界为 $\lesssim |\mathcal{S}| H^2 \log N / N$。
• 即使专家为确定性或学习者可主动查询专家，下界 $\gtrsim |\mathcal{S}| H^2 / N$ 依然成立。
• 当转移模型已知时，所提出的最小距离算法实现的次优性为 $\lesssim \min\{ H \sqrt{|\mathcal{S}| / N}, |\mathcal{S}| H^{3/2} / N \}$。
• 与无已知转移模型的情形相比，该算法使极小极大速率至少提升了 $\sqrt{H}$ 倍。
• 在给定假设下，该新算法的次优性边界不依赖于动作数量。
• 结果表明，已知转移模型可显著提升模仿学习在极小极大意义下的样本效率。