[论文解读] Value Function Approximation in Noisy Environments Using Locally Smoothed Regularized Approximate Linear Programs

Gavin Taylor, Ron Parr|arXiv (Cornell University)|Oct 16, 2012

Reinforcement Learning in Robotics参考文献 13被引用 6

一句话总结

该论文提出了一种新型方法——局部平滑L1正则化近似线性规划（LS-RALP），通过结合局部平滑与正则化，提升了在噪声强化学习环境中的值函数近似性能。该方法利用平滑性假设并增加样本量，在无需精确模型的前提下，减少了噪声引起的误差，相较于标准RALP在噪声环境中表现更优，并在基准问题上展现出改进的收敛性与鲁棒性。

ABSTRACT

Recently, Petrik et al. demonstrated that L1Regularized Approximate Linear Programming (RALP) could produce value functions and policies which compared favorably to established linear value function approximation techniques like LSPI. RALP's success primarily stems from the ability to solve the feature selection and value function approximation steps simultaneously. RALP's performance guarantees become looser if sampled next states are used. For very noisy domains, RALP requires an accurate model rather than samples, which can be unrealistic in some practical scenarios. In this paper, we demonstrate this weakness, and then introduce Locally Smoothed L1-Regularized Approximate Linear Programming (LS-RALP). We demonstrate that LS-RALP mitigates inaccuracies stemming from noise even without an accurate model. We show that, given some smoothness assumptions, as the number of samples increases, error from noise approaches zero, and provide experimental examples of LS-RALP's success on common reinforcement learning benchmark problems.

研究动机与目标

• 解决在采样下一状态导致性能下降的噪声环境中RALP的局限性。
• 开发一种在噪声数据下仍能保持性能保证的方法，且不依赖精确的环境模型。
• 在高噪声的实际强化学习场景中，提升值函数近似的鲁棒性与收敛性。
• 证明在平滑性假设下，随着样本量增加，噪声引起的误差会减小。

提出的方法

• 引入局部平滑正则化，通过在邻近状态上取平均，减轻值函数近似中的噪声影响。
• 在RALP基础上，将局部平滑整合进L1正则化近似线性规划的公式中。
• 利用值函数的平滑性假设，确保噪声影响随样本量增加而减小。
• 采用改进的优化目标，对相邻状态间值估计的大幅偏差施加惩罚。
• 应用基于核的加权方案，在正则化过程中突出邻近状态-动作对的重要性。
• 使用带有局部平滑约束的近似线性规划变体求解所得优化问题。

实验结果

研究问题

• RQ1 局部平滑能否提升RALP在噪声强化学习环境中的鲁棒性？
• RQ2 当下一状态样本存在噪声时，LS-RALP是否仍能保持性能保证？
• RQ3 随着样本数量增加，值函数近似中噪声引起的误差如何变化？
• RQ4 LS-RALP能否在不依赖精确模型的前提下，实现优于RALP的近似质量？
• RQ5 在何种条件下，局部平滑可使噪声影响在值函数估计中逐渐减弱？

主要发现

• 与标准RALP相比，LS-RALP显著降低了由噪声下一状态样本引起的误差。
• 在平滑性假设下，随着样本量增加，噪声引起的误差趋近于零。
• 在高噪声条件下，LS-RALP在标准强化学习基准问题上优于RALP。
• 即使环境模型不准确或不可用，该方法仍能保持优异性能。
• 实验结果证实了在噪声环境中收敛性与稳定性的提升。
• 局部平滑机制通过利用状态空间中的空间结构，有效对值函数估计进行正则化。