[论文解读] When Is Generalizable Reinforcement Learning Tractable?

Dhruv Malik, Yuanzhi Li+1 more|arXiv (Cornell University)|Jan 1, 2021

Reinforcement Learning in Robotics参考文献 48被引用 6

一句话总结

本文通过引入两个结构条件来研究通用强化学习（RL）何时具有可处理性：弱邻近性（Weak Proximity），即使转移和奖励函数相似且共享最优轨迹，也无法保证高效泛化；强邻近性（Strong Proximity），当环境共享同一最优策略时，可实现高效泛化。关键贡献在于建立了一个形式化下界，证明即使在拥有生成模型且单个环境可高效求解的情况下，弱邻近性下泛化仍存在样本效率低下问题，而强邻近性则可实现可证明的高效学习。

ABSTRACT

Agents trained by reinforcement learning (RL) often fail to generalize beyond the environment they were trained in, even when presented with new scenarios that seem similar to the training environment. We study the query complexity required to train RL agents that generalize to multiple environments. Intuitively, tractable generalization is only possible when the environments are similar or close in some sense. To capture this, we introduce Weak Proximity, a natural structural condition that requires the environments to have highly similar transition and reward functions and share a policy providing optimal value. Despite such shared structure, we prove that tractable generalization is impossible in the worst case. This holds even when each individual environment can be efficiently solved to obtain an optimal linear policy, and when the agent possesses a generative model. Our lower bound applies to the more complex task of representation learning for the purpose of efficient generalization to multiple environments. On the positive side, we introduce Strong Proximity, a strengthened condition which we prove is sufficient for efficient generalization.

研究动机与目标

• 确定通用强化学习在何种结构条件下具有计算可处理性。
• 分析当转移和奖励函数相似且共享最优轨迹时，是否可在多环境RL中实现高效泛化。
• 建立一个形式化下界，证明即使在拥有生成模型且单个环境可高效求解的情况下，弱邻近性下泛化仍存在样本效率低下问题。
• 提出并验证强邻近性作为多环境RL中高效泛化的充分条件。
• 阐明经典度量（如Simulation Lemma）在现代RL泛化设置中的局限性。

提出的方法

• 引入弱邻近性作为结构条件，要求环境间具有高度相似的转移和奖励函数，并共享最优轨迹。
• 通过构建一个基于状态二叉树的困难实例，证明在弱邻近性下的查询复杂度下界。
• 使用概率论证表明，任何算法必须查询超常数数量的状态才能识别关键特殊状态，从而暗示样本低效性。
• 通过要求环境间共享最优策略，将弱邻近性强化为强邻近性。
• 设计一种算法，利用强邻近性在转移确定性条件下实现高效泛化。
• 利用Simulation Lemma和总变差距离界，正式关联MDP之间的差异与值函数之间的差异。

实验结果

研究问题

• RQ1 在马尔可夫决策过程（MDPs）的何种结构条件下，通用强化学习具有可处理性？
• RQ2 当环境共享相似的转移和奖励函数以及最优轨迹（弱邻近性）时，能否实现高效泛化？
• RQ3 为何经典Simulation Lemma无法在现代RL设置中确保高效泛化？
• RQ4 是否存在强于弱邻近性的更强结构条件，可实现在多个环境间的高效泛化？
• RQ5 当单个环境可高效求解且结构相似时，表征学习能否实现样本高效的泛化？

主要发现

• 统计下界表明，在弱邻近性下，即使每个单个环境均可通过线性策略求解且智能体拥有生成模型，高效泛化仍不可能实现。
• 该下界意味着，尽管存在共享最优策略和结构相似性，表征学习在泛化上的样本效率在最坏情况下仍低下。
• 经典Simulation Lemma度量（基于总变差距离和奖励差异）无法捕捉多环境RL中高效泛化的必要条件。
• 强邻近性（在弱邻近性基础上增加共享最优策略的要求）在转移确定性条件下被证明是实现高效泛化的充分条件。
• 下界证明依赖于一种构造，其中任何算法必须查询Ω(n)个状态才能识别关键特殊状态，从而揭示了固有的查询复杂度。
• 在策略下，两个MDP之间的值差异被限制在ξ_r H + ξ_tr H以内，其中ξ_r和ξ_tr分别为最大奖励差异和转移差异，从而在本情境中形式化了Simulation Lemma。