[论文解读] PAC Reinforcement Learning with Rich Observations

Akshay Krishnamurthy, Alekh Agarwal+1 more|arXiv (Cornell University)|Feb 8, 2016

Advanced Bandit Algorithms Research参考文献 23被引用 14

一句话总结

本文提出了一种新型强化学习框架，适用于具有丰富观测值的环境，通过少量隐藏状态建模序列决策过程，并预测长期奖励。该研究提出最小二乘值消除探索算法（LSVEE），在关键参数上实现多项式依赖关系，且不依赖于观测空间大小，从而实现样本效率的PAC保证，为强化学习中的函数逼近提供了理论支持。

ABSTRACT

We propose and study a new model for reinforcement learning with rich observations, generalizing contextual bandits to sequential decision making. These models require an agent to take actions based on observations (features) with the goal of achieving long-term performance competitive with a large set of policies. To avoid barriers to sample-efficient learning associated with large observation spaces and general POMDPs, we focus on problems that can be summarized by a small number of hidden states and have long-term rewards that are predictable by a reactive function class. In this setting, we design and analyze a new reinforcement learning algorithm, Least Squares Value Elimination by Exploration. We prove that the algorithm learns near optimal behavior after a number of episodes that is polynomial in all relevant parameters, logarithmic in the number of policies, and independent of the size of the observation space. Our result provides theoretical justification for reinforcement learning with function approximation.

研究动机与目标

• 解决高维观测空间下强化学习中样本效率低下的探索问题。
• 构建一个适用于丰富观测值的强化学习理论框架，避免一般部分可观察马尔可夫决策过程（POMDP）中难以处理的样本复杂度。
• 设计一种算法，实现PAC学习保证，且样本复杂度在观测空间大小上独立。
• 通过限制环境仅包含少量隐藏状态并具有可预测的长期奖励，为强化学习中的函数逼近提供理论依据。
• 通过新颖的状态相等性测试与值消除机制，实现在序列决策任务中的高效全局探索。

提出的方法

• 提出一种情境决策过程模型，其隐藏状态集合有限，且具有分层的确定性转移，每个隐藏状态关联一个观测-奖励分布。
• 引入一个包含最优Q值函数的函数类，以支持未来奖励的函数逼近。
• 设计LSVEE算法，结合上下文Bandit风格学习与基于状态相等性测试的全局探索策略。
• 使用蒙特卡洛估计评估值函数，利用DFS-Learn探索状态-动作前缀，确保收敛至近似最优策略。
• 通过时序差分消除（TD-Elim）与共识机制（Consensus）实现分层消除，高效识别并剪枝次优状态-动作对。
• 利用霍夫丁不等式与集中不等式控制各轮迭代中的失败概率，合理分配算法各组件的置信度边界。

实验结果

研究问题

• RQ1 我们能否设计一种强化学习算法，在具有丰富观测值和大观测空间的环境中实现PAC样本效率？
• RQ2 是否可能在动作数、时间跨度和策略集大小上实现多项式样本复杂度，同时独立于观测空间大小？
• RQ3 我们能否通过将环境限制为少量隐藏状态并具有可预测的长期奖励，为强化学习中的函数逼近提供理论依据？
• RQ4 我们如何设计一种全局探索策略，避免对时间跨度的指数依赖，同时保持理论保证？
• RQ5 在何种最小假设集合下，可以为具有丰富观测值的序列决策任务构建样本高效的强化学习算法？

主要发现

• LSVEE算法实现了PAC保证，样本复杂度为 $\tilde{\mathcal{O}}\left(\frac{MH^{6}K^{2}}{\epsilon^{3}}\log(N/\delta)\log(1/\delta)\right)$，且不依赖于观测空间大小。
• 该算法确保所学策略以高概率至多 $\epsilon$-次优，仅依赖于 $K$、$M$、$H$ 和 $\log(|\Pi|)$ 的多项式关系。
• 通过在蒙特卡洛估计、DFS-Learn和状态访问事件中合理分配置信度边界，失败概率被控制在 $\delta$ 以内。
• 利用状态相等性测试与共识机制，可高效剪枝次优状态-动作对，将所需的TD-Elim调用次数减少至 $\mathcal{O}(MH)$。
• 分析表明，通过在迭代间复用TD-Elim结果，可显著提升算法的样本复杂度，避免冗余训练。
• 理论框架为强化学习中的函数逼近提供了依据，因为该算法依赖于包含最优 $Q^*$ 函数的函数类。