[论文解读] Simple Agent, Complex Environment: Efficient Reinforcement Learning with Agent States

Shi Dong, Benjamin Van Roy+1 more|arXiv (Cornell University)|Feb 10, 2021

Multi-Agent Systems and Negotiation被引用 6

一句话总结

该论文提出了一种基于Q-learning的简单智能体，通过利用智能体状态表示，在任意复杂环境中实现了可证明高效的强化学习。它证明了智能体的性能损失被限制为表示失真程度的常数倍，并且在与智能体状态复杂度多项式相关的时间内趋近于渐近性能，而无需依赖环境复杂度。

ABSTRACT

We design a simple reinforcement learning (RL) agent that implements an optimistic version of $Q$-learning and establish through regret analysis that this agent can operate with some level of competence in any environment. While we leverage concepts from the literature on provably efficient RL, we consider a general agent-environment interface and provide a novel agent design and analysis. This level of generality positions our results to inform the design of future agents for operation in complex real environments. We establish that, as time progresses, our agent performs competitively relative to policies that require longer times to evaluate. The time it takes to approach asymptotic performance is polynomial in the complexity of the agent's state representation and the time required to evaluate the best policy that the agent can represent. Notably, there is no dependence on the complexity of the environment. The ultimate per-period performance loss of the agent is bounded by a constant multiple of a measure of distortion introduced by the agent's state representation. This work is the first to establish that an algorithm approaches this asymptotic condition within a tractable time frame.

研究动机与目标

• 弥合可证明高效的强化学习算法与在复杂、现实世界环境中运行的实际智能体之间的差距。
• 设计一种通用的强化学习智能体，其在无需假设马尔可夫动态、周期性结构或最优策略有限评估时间的前提下仍能有效运行。
• 建立与环境复杂度无关的理论性能保证，特别是有界遗憾。
• 证明智能体的性能损失被其状态表示引入的失真程度的常数倍所限制。
• 提供时间复杂度分析，表明智能体在与智能体状态复杂度和策略评估时间多项式相关的时长内收敛至渐近性能。

提出的方法

• 提出一种基于Q-learning乐观变体的新型智能体设计，使用有限的状态集合来表示复杂观测。
• 引入一种带有采样观测上ℓ₂损失最小化的拟合值迭代算法，用于更新值函数。
• 定义一个状态表示映射 φ: O → S，将观测压缩为更小、更易管理的随机状态集合。
• 使用折扣因子 γ ∈ (0,1)，并对值函数 V^(k) 进行迭代更新，以近似最优Q值。
• 使用遗憾界分析性能，衡量最优平均奖励 λ* 与智能体实现的奖励 λ_π 之间的差异。
• 建立值函数序列 V^(k) 以概率收敛至极限 V^(∞)，从而支持理论性能分析。

实验结果

研究问题

• RQ1 一个简单的强化学习智能体是否能在不依赖马尔可夫动态等限制性假设的前提下，在任意复杂环境中实现有竞争力的性能？
• RQ2 一个简单智能体在复杂环境中趋近渐近性能所需的时间复杂度是多少？
• RQ3 智能体状态表示引入的失真如何影响其长期性能？
• RQ4 是否可以建立与环境复杂度无关的遗憾界，特别是在最优策略无法在有限时间内评估时？
• RQ5 是否可能设计一种可证明高效的强化学习智能体，在无限时域内有效运行，而无需知晓任务持续时间？

主要发现

• 智能体的性能损失被其状态表示引入的失真程度的常数倍所限制，确保了长期性能的稳定性。
• 趋近渐近性能所需的时间与智能体状态表示的复杂度以及其可表示的最佳策略评估时间呈多项式关系。
• 遗憾界与环境复杂度无关，这在现实世界环境中具有显著优势，因为这些环境通常具有无限复杂度。
• 智能体相对于需要指数级更长评估时间的策略，实现了有竞争力的性能，展示了其学习效率。
• 在特定示例环境中，智能体的最优策略 π^(∞) 实现的奖励率 λ_π^(∞) 满足 λ_* - λ_π^(∞) ≥ τ_π^(∞) · γ · Δ̄_τ - ε，其中 Δ̄_τ = δ，表明理论控制极为紧密。
• 当 κ < 2γδ/(1−γ) 且 ε₁ = 1−γ 时，智能体收敛至一种策略：在状态1选择动作1，在状态2选择动作2，该策略虽次优但性能损失被可证明地限制。