[论文解读] Scalable Bilinear $π$ Learning Using State and Action Features

Yichen Chen, Lihong Li+1 more|arXiv (Cornell University)|Apr 27, 2018

Reinforcement Learning in Robotics参考文献 29被引用 22

一句话总结

该论文提出双线性 π 学习，一种可扩展的、无模型的强化学习算法，通过状态和动作特征来近似值函数和状态-动作分布，采用双线性模型。该方法通过求解贝尔曼对偶点问题的原始-对偶随机优化框架，在特征维度上实现线性样本复杂度（与 MDP 大小无关），从而实现样本高效、在线策略优化。

ABSTRACT

Approximate linear programming (ALP) represents one of the major algorithmic families to solve large-scale Markov decision processes (MDP). In this work, we study a primal-dual formulation of the ALP, and develop a scalable, model-free algorithm called bilinear $π$ learning for reinforcement learning when a sampling oracle is provided. This algorithm enjoys a number of advantages. First, it adopts (bi)linear models to represent the high-dimensional value function and state-action distributions, using given state and action features. Its run-time complexity depends on the number of features, not the size of the underlying MDPs. Second, it operates in a fully online fashion without having to store any sample, thus having minimal memory footprint. Third, we prove that it is sample-efficient, solving for the optimal policy to high precision with a sample complexity linear in the dimension of the parameter space.

研究动机与目标

• 为具有巨大状态空间和动作空间的大规模 MDP 开发一种可扩展的、无模型的强化学习算法。
• 仅通过采样预言机和给定的状态与动作特征，实现高效的策略优化。
• 通过利用基于特征的紧凑表示，实现与 MDP 大小无关的低计算和内存复杂度。
• 为大规模 MDP 中的策略学习提供强有力的样本效率和收敛性保证。

提出的方法

• 基于贝尔曼方程，将策略优化表述为原始-对偶对偶点问题。
• 使用双线性模型，通过状态特征 φ(s) ∈ ℝ^D 和动作特征 ψ(a) ∈ ℝ^U 来表示值函数和状态-动作分布。
• 采用一次处理一个转移的随机原始-对偶更新，实现仅需极少内存的在线学习。
• 引入一种紧凑参数化，其中状态-动作分布被建模为状态特征和动作特征的双线性函数。
• 通过在近似线性规划（ALP）背景下分析耦合的原始-对偶动态，推导出收敛性保证。
• 利用强对偶性将值函数和策略更新耦合，确保优化过程稳定且高效。

实验结果

研究问题

• RQ1 能否通过基于特征的紧凑表示，使策略优化的原始-对偶公式化实现可扩展性和样本效率？
• RQ2 如何利用状态和动作特征的双线性模型来近似高维值函数和状态-动作分布？
• RQ3 使用该方法学习 ϵ-最优策略的样本复杂度是多少？其随特征维度的变化规律如何？
• RQ4 在大规模 MDP 中，该算法能否在保持高精度策略学习的同时，维持低计算和内存复杂度？
• RQ5 值函数和状态-动作分布模型中的近似误差如何影响所学策略的最优性差距？

主要发现

• 双线性 π 学习算法在找到 ϵ-最优策略时的样本复杂度为 O(DU / ϵ²)，与特征维度 D 和 U 呈线性关系。
• 该算法的运行时间和内存复杂度仅依赖于 D 和 U，而不依赖于 |S| 或 |A|，从而实现对大规模 MDP 的可扩展性。
• 该方法完全在线，无需存储历史样本，从而实现极低的内存占用。
• 贝尔曼对偶点问题的解与真实贝尔曼方程之间的差异，受函数近似器的 ℓ∞ 和 ℓ1 误差的有界限制。
• 在可实现情况（近似误差为零）下，求解对偶点问题等价于求解原始贝尔曼方程。
• 该算法确保了可证明的稳定收敛，并具有有限样本收敛速率，这与许多可能发散或振荡的 ADP 方法不同。