[论文解读] Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes

Aviv Tamar, Dotan Di Castro+1 more|arXiv (Cornell University)|Jan 1, 2013

Simulation Techniques and Applications参考文献 5被引用 4

一句话总结

本论文提出了一种基于线性函数逼近的TD(0)与LSTD(λ)算法，用于在马尔可夫决策过程中联合估计价值函数与二阶矩函数，实现风险感知的策略评估。该方法对J（期望奖励）和M（二阶矩）均使用投影贝尔曼方程，通过V = M − J²计算方差，并引入约束更新机制以确保方差估计非负。在连续4D迷宫环境中验证了该方法，结果表明方差能揭示仅从价值函数无法察觉的风险模式。

ABSTRACT

In this paper we extend temporal difference policy evaluation algorithms to performance criteria that include the variance of the cumulative reward. Such criteria are useful for risk management, and are important in domains such as finance and process control. We propose both TD(0) and LSTD(lambda) variants with linear function approximation, prove their convergence, and demonstrate their utility in a 4-dimensional continuous state space problem.

研究动机与目标

• 将时序差分学习扩展至包含奖励方差的性能指标，以应对金融与控制领域中对风险敏感的应用需求。
• 开发联合估计累积奖励期望（J）与二阶矩（M）的算法，采用线性函数逼近。
• 通过约束时序差分更新确保估计方差非负。
• 通过实证结果展示方差估计在揭示策略风险特征方面的实用性，超越平均性能表现。

提出的方法

• 推导出J(x)与M(x)的贝尔曼型方程系统，其中M(x)捕捉回报的二阶矩。
• 提出一种TD(0)变体，使用联合时序差分更新规则同时更新J与M的估计值。
• 开发一种LSTD(λ)变体，通过线性函数逼近求解J与M的投影固定点方程。
• 引入约束TD更新，强制满足M ≥ J²，以确保方差估计非负。
• 利用关系式V(x) = M(x) − J(x)²，从估计的J与M计算回报的方差。
• 在实证评估中采用均匀瓦片编码特征与λ-return进行函数逼近。

实验结果

研究问题

• RQ1 时序差分方法能否在函数逼近下扩展至联合估计MDP中累积奖励的均值与方差？
• RQ2 在采用线性函数逼近的策略评估中，如何使方差估计具有鲁棒性且非负？
• RQ3 方差估计在连续状态域中对策略解释性有何影响？
• RQ4 与朴素样本方差估计相比，所提方法在数据效率与准确性方面表现如何？
• RQ5 方差估计能否揭示仅从价值函数无法察觉的策略风险模式？

主要发现

• 在标准假设下，所提出的TD(0)与LSTD(λ)算法能收敛至正确的J与M估计值，且提供了形式化的收敛性保证。
• 约束TD更新成功确保了方差估计非负，避免了违反统计原理的负方差预测。
• 在4D弹珠迷宫环境中，方差函数揭示了高风险区域（如急转弯前区域），而价值函数本身未显示风险增加。
• LSTD(λ)方法仅用3,000条轨迹即估计出标准差函数，而朴素样本方差估计需125万条轨迹才能达到相近精度。
• 方差函数相对于目标距离呈非单调且非线性关系，凸显了均值性能无法捕捉的复杂风险结构。
• 该方法成功在高维连续状态空间中估计了方差函数，证明其在风险感知策略评估中的实用性。