[论文解读] Policy Error Bounds for Model-Based Reinforcement Learning with Factored Linear Models

Bernardo Ávila Pires, Csaba Szepesvári|arXiv (Cornell University)|Feb 19, 2016

Reinforcement Learning in Robotics参考文献 18被引用 10

一句话总结

本文针对基于模型的强化学习（MBRL）中的因子线性模型，建立了新颖的策略误差界，引入了加权范数下的误差界——此前在MBRL中尚未探索过——同时降低了对折扣因子的敏感性，并消除了测度不匹配问题。核心贡献在于提出了一种基于巴拿赫格（Banach lattices）与混合范数的新型分析框架，确保价值选择算子为非扩张算子，从而获得比以往方法更紧致、更鲁棒的性能保证。

ABSTRACT

In this paper we study a model-based approach to calculating approximately optimal policies in Markovian Decision Processes. In particular, we derive novel bounds on the loss of using a policy derived from a factored linear model, a class of models which generalize numerous previous models out of those that come with strong computational guarantees. For the first time in the literature, we derive performance bounds for model-based techniques where the model inaccuracy is measured in weighted norms. Moreover, our bounds show a decreased sensitivity to the discount factor and, unlike similar bounds derived for other approaches, they are insensitive to measure mismatch. Similarly to previous works, our proofs are also based on contraction arguments, but with the main differences that we use carefully constructed norms building on Banach lattices, and the contraction property is only assumed for operators acting on "compressed" spaces, thus weakening previous assumptions, while strengthening previous results.

研究动机与目标

• 推导基于模型的强化学习中，由因子线性模型导出的策略的性能界。
• 解决现有界依赖上确界范数的局限性，后者在数据稀疏或分布不均匀的设置下过于保守。
• 通过利用新型算子框架，消除近似线性规划（ALP）与近似动态规划（ADP）中常见的测度不匹配敏感性问题。
• 在较弱假设下推广先前结果，使现有上确界范数界在特定条件下可被恢复。
• 表明基于模型的方法可避免ALP与ADP中常见的误差放大问题，尤其在数据分布变化时表现更优。

提出的方法

• 作者提出一种因子线性模型结构，其中转移核被近似为两个线性算子的乘积：右因子 R 将状态映射至压缩空间 W，左因子 Q 将 W 映射回动作值空间。
• 定义了关键算子，包括压缩空间上的贝尔曼算子 T_Q、空间 W^A 上的价值选择算子 M'，以及完整的回报算子 T_QR。
• 基于巴拿赫格理论构建了一种新型混合范数结构，确保价值选择算子 M' 在这些范数下为非扩张算子。
• 在压缩空间上使用压缩收缩论证，弱化了对强全局收缩假设的需求，同时增强了所得界的有效性。
• 该框架支持在上确界范数、加权上确界范数和加权 L^p 范数下的性能界，模型误差以加权范数衡量。
• 在模型组件满足较弱有界性与同态性条件的假设下推导出理论界，关键条件在于交换算子 Q R 的有界性，以实现范数控制。

实验结果

研究问题

• RQ1 能否在基于模型的强化学习中，使用加权范数而非传统上确界范数来推导策略误差界？后者在实践中已知过于悲观。
• RQ2 在MBRL中使用因子线性模型是否能降低对折扣因子 γ 的敏感性，相比以往方法？
• RQ3 所提出的框架能否消除困扰近似线性规划与近似动态规划的测度不匹配问题？
• RQ4 通过利用巴拿赫格与混合范数的结构，是否可能推导出更紧致且更鲁棒的界？
• RQ5 新界与现有界相比，在经典结果的恢复能力与新场景的泛化能力方面表现如何？

主要发现

• 本文首次推导出基于模型的强化学习中，模型不准确性以加权范数衡量的策略误差界，使误差界更自然地与学习目标对齐。
• 所推导的界显示出对折扣因子 γ 的敏感性显著降低，是相较于以往方法的重要改进。
• 该分析对测度不匹配不敏感，避免了在 ALP 与 ADP 中因采样分布与最优策略平稳分布不一致而产生的难以控制的误差项。
• 在满足联合同态条件时，该框架可恢复现有因子线性模型的上确界范数界，验证了与先前工作的兼容性。
• 巴拿赫格理论的应用使得对动作值函数的混合范数定义成为可能，确保价值选择算子为非扩张算子，这对稳定性至关重要。
• 交换算子 Q R 的条件被证明比以往的全局收缩假设更具可处理性，因其仅约束一个低维算子。