[论文解读] Optimal Reinforcement Learning for Gaussian Systems

Philipp Hennig|arXiv (Cornell University)|Jun 4, 2011

Advanced Bandit Algorithms Research参考文献 29被引用 10

一句话总结

本文通过推导一个描述贝叶斯不确定性下最优学习动态的一阶无限维偏微分方程，为非线性、时变高斯系统的形式化最优强化学习提供了理论基础。核心贡献是一个用于联合探索与利用的微分方程框架，从而实现了基于高斯过程的新一代强化学习算法，在基准任务中表现优于标准方法。

ABSTRACT

The exploration-exploitation trade-off is among the central challenges of reinforcement learning. The optimal Bayesian solution is intractable in general. This paper studies to what extent analytic statements about optimal learning are possible if all beliefs are Gaussian processes. A first order approximation of learning of both loss and dynamics, for nonlinear, time-varying systems in continuous time and space, subject to a relatively weak restriction on the dynamics, is described by an infinite-dimensional partial differential equation. An approximate finite-dimensional projection gives an impression for how this result may be helpful.

研究动机与目标

• 解决在连续时间与空间下，不确定性条件下的不可解贝叶斯最优强化学习问题。
• 为非线性、时变系统中的最优探索-利用平衡建立可处理的解析框架。
• 将先前关于卡尔曼滤波与高斯过程的研究扩展至一般非线性动力学与损失函数。
• 推导描述学习过程的微分方程，以实现对学习与系统行为的最优控制。

提出的方法

• 使用具有已知核函数和先验分布的独立高斯过程对动力学与损失函数中的不确定性进行建模。
• 推导一个控制贝叶斯推断下最优学习演化的首阶无限维偏微分方程。
• 通过泛函将无限维动力学投影到有限维子空间，以实现实际计算。
• 采用变分近似方法，将问题简化为有限维最小二乘估计，以支持算法实现。
• 将所得算法应用于控制任务，如Furuta摆和小车间-摆系统。
• 与基线方法（包括TD(λ)、ε-贪婪和基于卡尔曼滤波的学习器）进行性能验证。

实验结果

研究问题

• RQ1 当信念为高斯过程时，最优强化学习能否被表述为微分方程？
• RQ2 在非线性、时变的连续系统中，如何最优地平衡探索与利用？
• RQ3 在具有高斯过程先验的贝叶斯推断下，最优学习动态的结构是什么？
• RQ4 如何在实践中对学习过程的无限维最优控制进行近似？
• RQ5 高斯过程先验在多大程度上使原本不可解的贝叶斯强化学习问题获得可处理的解？

主要发现

• 高斯系统下的最优强化学习过程由一个首阶无限维偏微分方程描述，该方程控制信念与控制的演化。
• 通过泛函实现的有限维近似，使得基于最小二乘估计的实用强化学习算法成为可能。
• 所提出的高斯过程学习器在Furuta摆任务中实现了6.0 ± 1.4的折扣损失，优于TD(λ)和卡尔曼滤波基线方法。
• GP-based方法成功将摆杆抬起，而其他方法探索不足，未能实现稳定。
• 结果表明，最优探索无法通过保守或启发式方法实现，尤其是在时变或折扣问题中。
• 该方法凸显了先验假设在塑造预测与控制性能中的关键作用，且无法摆脱对模型的依赖。