[论文解读] Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency

Cai Qi, Zhuoran Yang+1 more|arXiv (Cornell University)|Apr 20, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出 OP-TENET，一种用于无限观测和状态空间的局部可观察马尔可夫决策过程（POMDP）的强化学习算法，采用线性函数逼近。该算法在 $O(1/ heta^2)$ 集合内实现 $ heta$-最优策略，样本复杂度在固有维度上为多项式级别，且与观测/状态空间大小无关，其关键在于有限记忆贝尔曼算子、针对线性结构设计的平滑判别器的对抗积分方程估计，以及基于乐观探索的策略。

ABSTRACT

We study reinforcement learning for partially observed Markov decision processes (POMDPs) with infinite observation and state spaces, which remains less investigated theoretically. To this end, we make the first attempt at bridging partial observability and function approximation for a class of POMDPs with a linear structure. In detail, we propose a reinforcement learning algorithm (Optimistic Exploration via Adversarial Integral Equation or OP-TENET) that attains an $ε$-optimal policy within $O(1/ε^2)$ episodes. In particular, the sample complexity scales polynomially in the intrinsic dimension of the linear structure and is independent of the size of the observation and state spaces. The sample efficiency of OP-TENET is enabled by a sequence of ingredients: (i) a Bellman operator with finite memory, which represents the value function in a recursive manner, (ii) the identification and estimation of such an operator via an adversarial integral equation, which features a smoothed discriminator tailored to the linear structure, and (iii) the exploration of the observation and state spaces via optimism, which is based on quantifying the uncertainty in the adversarial integral equation.

研究动机与目标

• 弥合无限观测与状态空间 POMDP 强化学习中的理论空白。
• 克服由部分可观察性与高维状态空间引发的统计与计算挑战。
• 为具有线性结构的 POMDP 开发一个可证明样本高效的算法。
• 在无需完整模型识别或表格假设的前提下，实现 POMDP 中的函数逼近。
• 建立一种在部分可观察性下，结合线性函数逼近的高效探索与值函数估计框架。

提出的方法

• 提出有限记忆贝尔曼算子，以递归方式表示值函数，降低内存与计算需求。
• 利用针对线性结构定制的平滑判别器，通过对抗积分方程识别并估计贝尔曼算子。
• 通过量化对抗积分方程中的不确定性，实现面对不确定性的乐观探索。
• 将学习问题形式化为极小极大优化，以提升计算效率，尤其适用于大规模数据集。
• 将线性函数逼近整合到值函数估计中，确保在高维空间中的可扩展性。
• 以线性结构的固有维度作为关键复杂度度量，使样本复杂度与观测和状态空间大小解耦。

实验结果

研究问题

• RQ1 能否通过线性函数逼近，使无限观测与状态空间 POMDP 的强化学习实现可证明的样本高效？
• RQ2 在高维、部分可观察环境中，如何高效地表示与估计值函数？
• RQ3 固有维度在决定线性结构 POMDP 的样本复杂度中起什么作用？
• RQ4 基于乐观的探索能否在对抗积分方程的背景下被有效量化与应用？
• RQ5 在这些设定下，能否实现与观测和状态空间大小无关的多项式样本复杂度？

主要发现

• OP-TENET 在 $O(1/ heta^2)$ 集合内实现 $ heta$-最优策略，确立了可证明高效的训练速率。
• 样本复杂度在固有维度上呈多项式缩放，且与观测和状态空间的大小无关。
• 该算法的样本效率得益于有限记忆贝尔曼算子，其以更低复杂度捕捉值函数的递归结构。
• 采用平滑判别器的对抗积分方程估计方法，可在线性结构下准确识别贝尔曼算子。
• 基于对抗积分方程不确定性量化的乐观探索，确保了对观测与状态空间的有效覆盖。
• 极小极大优化形式化支持高效实现，即使在大规模数据集上也能保持实际可扩展性。