[论文解读] On Oracle-Efficient PAC RL with Rich Observations

Christoph Dann, Nan Jiang+4 more|arXiv (Cornell University)|Mar 1, 2018

Auction Theory and Applications被引用 20

一句话总结

本文提出 Valor，一种计算高效的基于查询的强化学习算法，适用于具有确定性隐状态动态和丰富观测的上下文决策过程。它通过使用代价敏感分类和线性规划查询，实现样本效率，同时证明在随机动态下，现有样本高效算法（如 Olive）无法在查询模型中高效实现，揭示了一个基本的计算障碍。

ABSTRACT

We study the computational tractability of PAC reinforcement learning with rich observations. We present new provably sample-efficient algorithms for environments with deterministic hidden state dynamics and stochastic rich observations. These methods operate in an oracle model of computation -- accessing policy and value function classes exclusively through standard optimization primitives -- and therefore represent computationally efficient alternatives to prior algorithms that require enumeration. With stochastic hidden state dynamics, we prove that the only known sample-efficient algorithm, OLIVE, cannot be implemented in the oracle model. We also present several examples that illustrate fundamental challenges of tractable PAC reinforcement learning in such general settings.

研究动机与目标

• 开发适用于具有丰富观测和确定性隐状态动态环境的计算高效强化学习算法。
• 解决基于函数逼近的强化学习中统计样本效率与计算可及性之间的差距。
• 探究已知样本高效算法是否可在一个查询计算模型中实现。
• 识别在具有随机隐状态转移设置下的查询高效 PAC 强化学习中的基本计算障碍。

提出的方法

• 设计 Valor 算法，利用代价敏感分类和线性规划查询，高效优化价值函数和策略。
• 在查询模型中运行，仅通过标准优化原语访问策略和价值函数类。
• 通过约束优化实现乐观价值函数估计，以引导探索。
• 使用平均价值约束，消除次优价值函数，同时保留最优策略识别能力。
• 证明在随机动态下，已知的样本高效算法 Olive 无法在查询模型中高效实现。
• 展示使用平方损失或期望约束在解耦价值函数与策略优化时存在的障碍。

实验结果

研究问题

• RQ1 是否仅使用标准优化查询即可实现具有丰富观测的样本高效强化学习？
• RQ2 已知在一般 CDP 中具有样本效率的 Olive 算法，在查询模型中是否具有计算可行性？
• RQ3 在具有随机隐状态转移的设置下，查询高效强化学习的基本计算障碍是什么？
• RQ4 基于平方损失或期望的值函数约束是否能在解耦优化框架中保持最优策略识别？
• RQ5 最优值函数的形状与结构在实现高效探索中起到什么作用？

主要发现

• Valor 是首个在具有确定性隐状态动态和丰富观测的上下文决策过程中，兼具计算效率与统计效率的算法。
• Olive 是唯一已知在具有随机动态的一般 CDP 中具有样本效率的算法，但其无法在查询模型中高效实现，确立了计算障碍。
• 仅使用平均价值约束会丢失关于最优值函数形状的信息，可能导致过早终止于次优策略。
• 对回溯奖励使用平方损失约束，即使损失很小，也无法区分最优值函数与显著偏差的劣质函数。
• 结果表明，使用标准约束解耦价值函数与策略优化，会引入阻碍查询效率的根本障碍。
• 本文指出，完备性类型条件对于 FVI 风格学习过程在查询高效强化学习中成功至关重要。