[论文解读] Representation Policy Iteration

Sridhar Mahadevan|arXiv (Cornell University)|Jul 4, 2012

Machine Learning and Algorithms参考文献 18被引用 33

一句话总结

本文提出表示策略迭代（RPI），一种新颖的框架，利用黎曼流形理论和霍奇理论，自动学习大规模马尔可夫决策过程（MDPs）中值函数近似的最优基函数。通过从拉普拉斯-贝尔特拉米算子的特征函数构造正交基函数，RPI 实现了对状态空间的全局类傅里叶分析，在 LSPI 实验中显著优于手工设计的基函数，提升了策略学习性能。

ABSTRACT

This paper addresses a fundamental issue central to approximation methods for solving large Markov decision processes (MDPs): how to automatically learn the underlying representation for value function approximation? A novel theoretically rigorous framework is proposed that automatically generates geometrically customized orthonormal sets of basis functions, which can be used with any approximate MDP solver like least squares policy iteration (LSPI). The key innovation is a coordinate-free representation of value functions, using the theory of smooth functions on a Riemannian manifold. Hodge theory yields a constructive method for generating basis functions for approximating value functions based on the eigenfunctions of the self-adjoint (Laplace-Beltrami) operator on manifolds. In effect, this approach performs a global Fourier analysis on the state space graph to approximate value functions, where the basis functions reflect the largescale topology of the underlying state space. A new class of algorithms called Representation Policy Iteration (RPI) are presented that automatically learn both basis functions and approximately optimal policies. Illustrative experiments compare the performance of RPI with that of LSPI using two handcoded basis functions (RBF and polynomial state encodings).

研究动机与目标

• 为解决在大规模 MDP 中自动学习有效表示以进行值函数近似的挑战。
• 开发一种理论基础坚实的算法，生成无需依赖手工特征的几何定制化基函数。
• 将表示学习与策略迭代相结合，以提升近似 MDP 求解器的样本效率与收敛性。
• 通过利用状态空间的内在几何结构，实现全局、拓扑感知的函数近似。
• 展示所学习表示相较于传统手工编码（如 RBF 和多项式）的优越性能。

提出的方法

• 通过黎曼流形上的光滑函数，采用无坐标表示值函数。
• 应用霍奇理论，从拉普拉斯-贝尔特拉米算子的特征函数构造正交基函数。
• 在状态空间图上执行全局傅里叶分析，以捕捉大尺度拓扑结构。
• 将所学基函数集成到策略迭代框架中，形成 RPI 算法。
• 采用自伴拉普拉斯-贝尔特拉米算子，确保基函数生成过程的数学严谨性与稳定性。
• 通过提供有原则的基集，支持任何近似 MDP 求解器（如最小二乘策略迭代，LSPI）。

实验结果

研究问题

• RQ1 一种基于几何信息的自动基函数生成方法，是否能在值函数近似中超越手工基函数？
• RQ2 在黎曼流形上使用拉普拉斯-贝尔特拉米算子的特征函数，如何提升大规模 MDP 中的策略学习性能？
• RQ3 通过流形理论捕捉的状态空间拓扑结构，在多大程度上增强了函数近似与策略收敛性？
• RQ4 无坐标、内在的值函数表示是否能带来更鲁棒和泛化能力更强的策略？
• RQ5 在策略迭代中整合表示学习，与标准 LSPI 相比，如何影响样本效率与性能？

主要发现

• RPI 在收敛速度与最终策略质量方面，显著优于使用手工基函数（RBF 与多项式编码）的 LSPI。
• 从拉普拉斯-贝尔特拉米算子特征函数中自动学习的基函数，比启发式编码更有效地捕捉了状态空间的内在几何结构。
• 该方法实现了对值函数的全局、拓扑感知近似，从而带来更准确且稳定的策略评估。
• 实验结果表明，RPI 框架在值函数近似中实现了更快的收敛速度与更低的误差，优于基线方法。
• 基于霍奇理论生成的正交基函数，确保了函数近似中的数值稳定性与泛化性能提升。
• 该框架与任何近似 MDP 求解器兼容，使其应用范围广泛，不仅限于 LSPI。