[论文解读] Trust Region Value Optimization using Kalman Filtering

Shirli Di-Castro Shashua, Shie Mannor|arXiv (Cornell University)|Jan 23, 2019

Reinforcement Learning in Robotics参考文献 43被引用 5

一句话总结

本文提出 KOVA（Kalman Optimization for Value Approximation），一种用于深度强化学习中值函数近似的新型信任区域优化方法。该方法利用扩展卡尔曼滤波（Extended Kalman Filter）建模参数不确定性，以改进策略评估。通过将值参数和回报视为具有贝叶斯分布的随机变量，KOVA 在提供值预测的同时也给出置信度估计，在状态空间和动作空间较大的连续控制任务中，其性能优于 Adam 等标准优化器。

ABSTRACT

Policy evaluation is a key process in reinforcement learning. It assesses a given policy using estimation of the corresponding value function. When using a parameterized function to approximate the value, it is common to optimize the set of parameters by minimizing the sum of squared Bellman Temporal Differences errors. However, this approach ignores certain distributional properties of both the errors and value parameters. Taking these distributions into account in the optimization process can provide useful information on the amount of confidence in value estimation. In this work we propose to optimize the value by minimizing a regularized objective function which forms a trust region over its parameters. We present a novel optimization method, the Kalman Optimization for Value Approximation (KOVA), based on the Extended Kalman Filter. KOVA minimizes the regularized objective function by adopting a Bayesian perspective over both the value parameters and noisy observed returns. This distributional property provides information on parameter uncertainty in addition to value estimates. We provide theoretical results of our approach and analyze the performance of our proposed optimizer on domains with large state and action spaces.

研究动机与目标

• 为解决标准时序差分（TD）学习在值函数近似中的局限性，通过引入参数不确定性和观测不确定性的建模。
• 开发一种信任区域优化框架，根据不确定性动态调整每个参数的学习率。
• 实现在无需每轮训练步骤中多次采样的情况下，进行增量式、在线参数更新，避免传统贝叶斯方法的高成本。
• 通过利用卡尔曼滤波原理，提升在具有大状态空间和动作空间的深度强化学习中策略评估的性能。

提出的方法

• 构建一个正则化的目标函数，结合预测误差与参数不确定性，从而在值参数上形成信任区域。
• 应用扩展卡尔曼滤波（EKF）对值函数参数及其不确定性协方差矩阵进行在线、增量式更新。
• 将值参数与噪声回报建模为具有联合高斯分布的随机变量，从而实现对参数的贝叶斯推断。
• 利用卡尔曼增益自适应地缩放每个参数的学习率，确保更新过程的稳定与高效。
• 推导出 EKF 与信任区域方法之间的联系，表明该目标函数近似于基于 Kullback-Leibler 散度的信任区域。
• 通过将现有策略优化算法（如 PPO 和 TRPO）中的标准值函数优化器替换为 KOVA，实现方法的集成。

实验结果

研究问题

• RQ1 在深度强化学习的策略评估过程中，如何有效建模并利用值函数近似中的参数不确定性？
• RQ2 扩展卡尔曼滤波能否在大规模强化学习设置中保持计算效率的同时，对值参数形成信任区域？
• RQ3 基于 EKF 的优化方法与 TRPO 和自然梯度下降等成熟信任区域方法之间存在何种关系？
• RQ4 与 Adam 等标准优化器相比，KOVA 在样本效率和连续控制基准测试中的性能表现如何？
• RQ5 卡尔曼滤波框架是否能在不增加采样或复杂推理过程的前提下，为值预测提供校准的置信度估计？

主要发现

• 在 PPO 和 TRPO 中使用 KOVA 时，相较于 Adam 等标准优化器，KOVA 显著提升了 MuJoCo 控制基准任务的样本效率与最终性能。
• 在 Hopper、Ant 和 HalfCheetah 等任务中，KOVA 实现了更优的渐近性能，学习曲线显示收敛更快且方差更低。
• KOVA 为值预测提供了校准的不确定性估计，有助于探索与策略改进。
• 该算法通过避免批量采样或多次参数采样，保持了计算效率，适用于深度神经网络。
• 理论分析表明，KOVA 最小化一个正则化目标函数，其近似于由参数分布间 Kullback-Leibler 散度定义的信任区域。
• 实验结果表明，无论任务不同，采用 0.1 或 1.0 的学习率（视任务而定）及最大比例噪声协方差时，KOVA 在多种环境中均表现出一致的性能提升。