[论文解读] Reinforcement Learning via Parametric Cost Function Approximation for Multistage Stochastic Programming

Saeed Ghadimi, Raymond T. Perkins+1 more|arXiv (Cornell University)|Jan 2, 2020

Reinforcement Learning in Robotics参考文献 36被引用 5

一句话总结

本文提出了一种参数化成本函数近似（CFA）框架，通过调整参数以更好地处理不确定性，从而增强多阶段随机规划中的确定性前瞻模型。通过将改进的确定性策略视为参数化策略，并利用基于梯度的仿真-优化方法优化其参数，该方法在噪声预测下显著优于基线确定性模型，且无需依赖场景树或两阶段近似。

ABSTRACT

The most common approaches for solving stochastic resource allocation problems in the research literature is to either use value functions ("dynamic programming") or scenario trees ("stochastic programming") to approximate the impact of a decision now on the future. By contrast, common industry practice is to use a deterministic approximation of the future which is easier to understand and solve, but which is criticized for ignoring uncertainty. We show that a parameterized version of a deterministic lookahead can be an effective way of handling uncertainty, while enjoying the computational simplicity of a deterministic lookahead. We present the parameterized lookahead model as a form of policy for solving a stochastic base model, which is used as the basis for optimizing the parameterized policy. This approach can handle complex, high-dimensional state variables, and avoids the usual approximations associated with scenario trees. We formalize this approach and demonstrate its use in the context of a complex, nonstationary energy storage problem.

研究动机与目标

• 为解决传统随机规划和确定性前瞻模型在处理复杂、高维随机资源分配问题时的局限性。
• 将工业实践中使用的参数化修改确定性模型形式化为策略搜索与仿真-优化中的系统性方法。
• 开发一种基于梯度的优化框架，用于调优参数化成本函数近似（CFA）策略中的参数，以提升其在随机环境中的性能。
• 在具有复杂动态特性和噪声预测的非平稳储能问题上，展示CFA方法的有效性。
• 证明CFA可优于标准确定性策略，并可与基于场景的随机规划相媲美，同时避免其计算与建模近似。

提出的方法

• 该方法使用参数化修改的确定性前瞻模型（即修改后的线性规划）作为策略，其中参数被调优以应对不确定性。
• 通过随机逼近算法对策略进行优化，包括带小批量采样的随机数值梯度（SNG-CFA）和随机梯度-free（SGF-CFA）方法。
• 当解析导数不可用时，使用有限差分近似来估计梯度，从而在基于仿真的设置中实现基于梯度的优化。
• 该方法利用问题的结构洞察设计有意义的参数化方式，例如储能中的备用约束，而非依赖通用函数逼近器。
• 通过1,000次仿真运行评估性能，优化中采用RMSProp作为自适应步长规则以保证稳定性。
• 进行二维网格搜索以分析目标函数在参数对上的响应曲面，揭示出单峰和脊状结构。

实验结果

研究问题

• RQ1 参数化确定性前瞻模型是否能在具有不确定性的多阶段随机问题中优于标准确定性策略？
• RQ2 CFA策略在完美预测与噪声预测下的表现如何变化？哪些参数值使其达到最优？
• RQ3 基于梯度的仿真-优化能否在不依赖场景树或两阶段近似的情况下有效调优CFA策略？
• RQ4 CFA策略参数空间中的响应曲面呈现出何种结构特性？这些特性如何影响优化过程？
• RQ5 与传统随机规划和基线确定性模型相比，CFA方法在性能和计算成本方面表现如何？

主要发现

• 在完美预测下，查找表CFA策略的最优参数值全部等于1，与引理4.4的理论预期一致。
• 在噪声预测下（σ²_E = 40），最优参数值偏离了1，表明调优对于应对预测不确定性至关重要。
• SNG-CFA与SGF-CFA方法在实际性能上表现相当，且RMSProp在收敛性和稳定性方面优于AdaGrad。
• 目标函数的响应曲面在不同参数对上表现出单峰和脊状结构，表明其对基于梯度的优化具有有利的景观。
• 在噪声预测下，CFA策略在平均性能上显著优于基线策略（θ = 1），证明了参数调优的价值。
• 该方法成功捕捉了复杂动态特性和结构洞察（如备用需求），且无需依赖场景树或两阶段近似。