[论文解读] Stochastic Optimization with Parametric Cost Function Approximations

Raymond T. Perkins, Warren B. Powell|arXiv (Cornell University)|Mar 14, 2017

Risk and Portfolio Optimization参考文献 39被引用 4

一句话总结

本文提出参数化成本函数近似（PCFAs）作为一种新颖的随机优化方法，通过在确定性模型中引入可调参数来处理不确定性，而无需采用完整随机规划的复杂性。通过在随机模拟器中使用基于梯度的搜索来优化这些参数，该方法在时间依赖性预测的储能应用中，性能优于传统的确定性和随机规划方法。

ABSTRACT

A widely used heuristic for solving stochastic optimization problems is to use a deterministic rolling horizon procedure, which has been modified to handle uncertainty (e.g. buffer stocks, schedule slack). This approach has been criticized for its use of a deterministic approximation of a stochastic problem, which is the major motivation for stochastic programming. We recast this debate by identifying both deterministic and stochastic approaches as policies for solving a stochastic base model, which may be a simulator or the real world. Stochastic lookahead models (stochastic programming) require a range of approximations to keep the problem tractable. By contrast, so-called deterministic models are actually parametrically modified cost function approximations which use parametric adjustments to the objective function and/or the constraints. These parameters are then optimized in a stochastic base model which does not require making any of the types of simplifications required by stochastic programming. We formalize this strategy and describe a gradient-based stochastic search strategy to optimize the parameters.

研究动机与目标

• 为解决确定性滚动时域方法在处理不确定性方面的局限性，将其重新表述为参数化成本函数近似。
• 证明对确定性模型进行参数化修改，可优于完整随机规划，且避免了简化假设。
• 开发一种基于梯度的随机搜索算法，用于在随机基础模型中优化成本函数近似中的参数。
• 表明PCFAs能比基于场景的随机规划更有效地利用问题的结构性质（例如，备用需求）。
• 为高维、序列决策的不确定性问题，提供一种可扩展且实用的大规模随机规划替代方案。

提出的方法

• 将确定性滚动时域策略重新表述为参数化成本函数近似（PCFAs），其中参数在随机模拟器中进行调优。
• 使用基于梯度的随机搜索算法（算法1）来优化目标函数和约束中的参数。
• 将PCFAs应用于具有滚动预测的时间依赖性储能问题，通过时变参数θτ对预测误差进行建模。
• 采用三种参数化形式：常数、查表法和指数衰减法，用于调整θτ以随时间变化调节预测可靠性。
• 通过可调参数施加结构约束，如最小/最大储能水平，以实现运行策略。
• 通过基于仿真的评估验证性能，将PCFA策略与基准确定性策略进行比较。

实验结果

研究问题

• RQ1 在不确定性下的随机优化中，对确定性模型进行参数化修改是否能优于完整随机规划？
• RQ2 在时间依赖性库存问题中，不同参数化形式（常数、查表法、指数衰减）的预测调整参数θτ如何影响策略性能？
• RQ3 PCFAs在多大程度上能比基于场景的随机规划更有效地捕捉结构性要求（如备用裕度）？
• RQ4 预测误差大小（σf）如何影响预测调整参数θτ的最优调优？
• RQ5 基于梯度的搜索是否能有效优化PCFA参数，而无需显式使用随机规划近似？

主要发现

• θτ的指数衰减和查表法参数化形式优于常数参数化形式，能够随时间动态调整预测可靠性，尤其在高预测误差（σf = 35）时表现更优。
• 随着预测误差增大，θτ随时间减小，表明策略学会了不信任更远期的预测，最终倾向于假设无可再生能源发电。
• 采用储能上限的容量约束参数化未能提升性能，因其限制了通过出售多余储存电能获得收益的机会。
• 下限容量约束也降低了盈利能力，因其限制了储存和出售过剩电能的能力，表明风险控制与收益捕捉之间存在权衡。
• 算法1成功识别出容量约束参数化形式下的最优参数θ* = [1, 0]，表明在给定问题设置中无需对容量施加限制。
• PCFA方法在无需依赖场景树或简化假设的前提下，通过在真实动态条件下调优参数，实现了优于基准确定性策略的性能。