[论文解读] Practical Linear Value-approximation Techniques for First-order MDPs

Scott Sanner, Craig Boutilier|arXiv (Cornell University)|Jun 27, 2012

Reinforcement Learning in Robotics参考文献 20被引用 32

一句话总结

本文通过将近似线性规划（ALP）扩展至支持策略迭代、自动生成基函数以及分解全称量化奖励问题，提出了一套适用于一阶马尔可夫决策过程（FOMDPs）的实用线性值函数近似技术。通过新颖的优化方法与与领域无关的学习策略，该方法在ICAPS 2004物流规划问题上实现了更优的值函数质量与可扩展性。

ABSTRACT

Recent work on approximate linear programming (ALP) techniques for first-order Markov Decision Processes (FOMDPs) represents the value function linearly w.r.t. a set of first-order basis functions and uses linear programming techniques to determine suitable weights. This approach offers the advantage that it does not require simplification of the first-order value function, and allows one to solve FOMDPs independent of a specific domain instantiation. In this paper, we address several questions to enhance the applicability of this work: (1) Can we extend the first-order ALP framework to approximate policy iteration to address performance deficiencies of previous approaches? (2) Can we automatically generate basis functions and evaluate their impact on value function quality? (3) How can we decompose intractable problems with universally quantified rewards into tractable subproblems? We propose answers to these questions along with a number of novel optimizations and provide a comparative empirical evaluation on logistics problems from the ICAPS 2004 Probabilistic Planning Competition.

研究动机与目标

• 通过集成策略迭代以改进值函数近似质量，解决先前一阶ALP方法在性能上的局限性。
• 开发自动基函数生成方法，以减少一阶MDP中对手动特征工程的依赖。
• 通过问题分解，实现对具有全称量化奖励的不可解FOMDP的可处理求解。
• 在无需领域特定简化的情况下，提升一阶MDP的可扩展性与解的质量。
• 提供一个通用框架，适用于多种FOMDP实例化，且无需针对每个领域实例重新训练。

提出的方法

• 通过重新表述线性规划优化以整合策略改进步骤，将一阶ALP扩展至支持值迭代与策略迭代。
• 提出一种基于一阶逻辑结构与奖励谓词的基函数生成方法，以自动推导相关特征。
• 采用分解策略，通过逻辑抽象将全称量化奖励问题分解为可处理的子问题。
• 使用线性规划求解线性值函数近似中的最优权重，以最小化状态空间上的贝尔曼误差。
• 在统一框架中集成逻辑实例化与值函数近似，以保持一阶表达能力。
• 利用与领域无关的特征模板与逻辑模式匹配，实现大规模FOMDP中基函数生成的可扩展性。

实验结果

研究问题

• RQ1 一阶ALP框架能否扩展以支持策略迭代，从而提升值函数近似质量？
• RQ2 能否从一阶逻辑表示中自动生成基函数？其对解的质量有何影响？
• RQ3 如何通过逻辑抽象将具有全称量化奖励的不可解FOMDP分解为可处理的子问题以实现高效求解？
• RQ4 自动基函数生成对收敛速度与值函数精度的影响如何？
• RQ5 在真实世界物流规划问题上，与现有方法相比，该方法在可扩展性与性能方面表现如何？

主要发现

• 将策略迭代集成到一阶ALP框架中，相比仅使用值迭代，显著提升了值函数近似质量。
• 基于逻辑结构自动生成的基函数在值函数精度与收敛速度方面优于人工设计或随机生成的基函数。
• 通过逻辑抽象实现的分解策略，使原本无法直接求解的具有全称量化奖励的FOMDP问题得以可处理求解。
• 所提方法在ICAPS 2004物流规划问题上表现出具有竞争力的性能，展示了在多个领域实例化中的可扩展性与鲁棒性。
• 该框架能够独立于特定领域实例求解FOMDP，在保持一阶表达能力的同时生成高质量策略。
• 实证评估表明，自动基函数生成与分解策略的结合，相比基线ALP方法，实现了更快的收敛速度与更低的贝尔曼误差。