[论文解读] Selecting Near-Optimal Approximate State Representations in Reinforcement Learning

Ronald Ortner, Odalric-Ambrym Maillard+1 more|arXiv (Cornell University)|May 12, 2014

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了一种强化学习算法，即使在集合中没有任何模型是完美MDP表示的情况下，也能从有限的模型集合中选择近似最优的状态表示。其遗憾界（regret bounds）与近似误差ǫ和MDP直径D成比例，相比之前的工作，该方法不再需要存在一个真实模型，并且显著降低了对状态空间大小和置信区间依赖性的要求。

ABSTRACT

We consider a reinforcement learning setting introduced in (Maillard et al., NIPS 2011) where the learner does not have explicit access to the states of the underlying Markov decision process (MDP). Instead, she has access to several models that map histories of past interactions to states. Here we improve over known regret bounds in this setting, and more importantly generalize to the case where the models given to the learner do not contain a true model resulting in an MDP representation but only approximations of it. We also give improved error bounds for state aggregation.

研究动机与目标

• 解决在给定模型集合中无一为完美MDP表示时，选择有效状态表示的挑战。
• 在近似模型设置下改进遗憾界，特别是相比之前工作，降低对状态空间大小的依赖性。
• 设计一种策略，在模型仅近似真实MDP时仍能实现近似最优性能，并提供可量化的误差边界。
• 提供理论保证，确保收敛性和遗憾界，同时考虑近似误差ǫ和MDP直径D。
• 通过移除模型集合Φ中存在真实MDP模型的假设，推广[7]中的先前结果。

提出的方法

• 提出一种模型选择算法，利用置信区间和惩罚性乐观Q值估计，以平衡探索与利用。
• 采用两级阶段结构：将每个回合划分为多个运行（runs），并在每个运行内基于奖励表现和置信边界测试并选择模型。
• 在Q值估计中引入依赖于模型估计近似误差˜ǫ(φ)、状态空间大小Sφ和置信水平δ的惩罚项。
• 应用柯西-施瓦茨不等式和集中不等式，以控制估计奖励与真实值之间的偏差，从而确保高概率下的遗憾控制。
• 利用真实MDP的偏差跨度和直径D，以控制近似模型的误差传播。
• 采用一种模型选择规则，仅当估计性能与乐观边界一致时才通过测试，从而确保对近似误差的鲁棒性。

实验结果

研究问题

• RQ1 当给定集合中无一模型为完美MDP表示时，能否在强化学习中实现次线性遗憾？
• RQ2 遗憾界如何依赖于集合中最佳模型的近似误差ǫ？
• RQ3 能否通过减少对状态空间大小S和真实MDP直径D的依赖性，来改进遗憾界？
• RQ4 当模型仅近似真实MDP时，可实现的最小遗憾是多少？其与ǫ和D的依赖关系如何？
• RQ5 能否设计一种对未知近似误差具有鲁棒性的模型选择策略，同时仍能保证近似最优性能？

主要发现

• 当最佳模型的近似误差为ǫ时，该算法实现了O(√(T log T))阶的遗憾界，且附加项与ǫD成正比，与已知的下界一致。
• 相比之前工作，该算法通过精心设计置信区间和惩罚项，降低了对状态空间大小Sφ的依赖性，实现了更紧的遗憾界。
• 若估计误差˜ǫ(φkj)不小于真实误差ǫ(φkj)，则所选模型φkj以高概率（1−δ）通过所有测试。
• 乐观策略的偏差跨度受真实MDP直径D的限制，从而可控制值函数估计中的误差。
• 回合数KT被限制在O(SA log(T/S))以内，从而控制模型重新评估的频率，确保高效学习。
• 最终的遗憾界为O(√(T log T) + ǫD T)，表明即使在模型近似下，该算法仍能实现近似最优学习，且每步误差与ǫD成正比。