[论文解读] Regress-Later Monte Carlo for Optimal Inventory Control with applications in energy

Alessandro Balata, Jan Palczewski|arXiv (Cornell University)|Mar 19, 2017

Stochastic processes and financial applications参考文献 21被引用 9

一句话总结

本文提出了一种用于能源系统最优库存控制的延迟回归蒙特卡洛（Regress-Later Monte Carlo, RLMC）方法，通过在时间步之间解耦库存水平，并将库存依赖关系嵌入回归基函数中，实现了无需嵌套模拟的高效策略迭代，在高维问题（如电池辅助风能管理）中优于网格离散化和控制随机化方法。

ABSTRACT

We develop a Monte-Carlo based numerical method for solving discrete-time stochastic optimal control problems with inventory. These are optimal control problems in which the control affects only a deterministically evolving inventory process on a compact state space while the random underlying process manifests itself through the objective functional. We propose a Regress Later modification of the traditional Regression Monte Carlo which allows to decouple inventory levels in two successive time steps and to include in the basis functions of the regression the dependence on the inventory levels. We develop a backward construction of trajectories for the inventory which enables us to use policy iteration of Longstaff-Schwartz type avoiding nested simulations. Our algorithm improves on the grid discretisation procedure largely used in literature and practice, and on the recently proposed control randomisation by [Kharroubi et al. (2014) Monte Carlo Methods and Applications, 20(2), pp. 145-165]. We validate our approach on three numerical examples: a benchmark problem of energy arbitrage used to compare different methods available in literature; a multi-dimensional problem of control of two connected water reservoirs; and a high-dimensional problem of the management of a battery with the purpose of assisting the operations of a wind turbine in providing electricity to a group of buildings in a cost effective way.

研究动机与目标

• 解决传统基于网格的回归蒙特卡洛在高维库存控制问题中计算效率低下的问题。
• 克服现有方法在每个库存水平需单独回归或难以处理连续控制空间的局限性。
• 开发一种后向动态规划算法，通过解耦库存轨迹，避免嵌套模拟。
• 实现对具有实际约束条件的复杂高维能源套利与储能管理问题的有效求解。
• 为现实应用中常用的启发式或完美前瞻策略提供可扩展的替代方案。

提出的方法

• 将延迟回归蒙特卡洛（RLMC）框架适配于时间步之间库存演化的解耦，支持独立的后向递归。
• 构建库存过程的后向轨迹，以支持策略迭代，且在价值函数估计期间无需重新模拟路径。
• 使用显式依赖于库存水平的基函数，实现在不进行网格离散化的情况下对库存状态进行插值。
• 通过定点迭代实现性能迭代，避免在每一步重新计算轨迹，从而降低计算成本。
• 应用回归方法，利用外生状态变量与库存水平的组合作为回归变量，估计延续价值。
• 在每个时间步求解一个二维约束优化问题，以确定最优控制，基于回归表面进行。

实验结果

研究问题

• RQ1 延迟回归蒙特卡洛能否被适配以处理库存确定性演化且外生过程随机的库存控制问题？
• RQ2 与基于网格的回归蒙特卡洛和控制随机化方法相比，所提出方法在准确性和计算效率方面表现如何？
• RQ3 该方法能否有效求解如电池辅助风能系统等高维库存控制问题？
• RQ4 在具有间歇性发电和波动价格的现实能源系统中，最优储能控制的经济价值是什么？
• RQ5 在后向递归中解耦库存轨迹是否能消除嵌套模拟的需求，同时保持解的质量？

主要发现

• RLMC方法显著优于基于网格的回归蒙特卡洛，因为它消除了在每个库存离散化点单独回归的需求。
• 与无储能系统相比，使用电池进行风能套利时，RLMC方法在两周内使中位数利润增加4000美元，第75百分位数利润也增加4000美元。
• 所估计的策略使利润从25百分位数的3595美元提升至7556美元，从75百分位数的5498美元提升至9598美元，显示出显著的经济效益。
• 该算法在仅使用5000条模拟路径时仍保持稳定与准确，且包含库存和外生变量的线性与二次项的基函数即可获得令人满意的结果。
• 在假设4000次完整充放电循环的前提下，电池的估计寿命约为6年（320周），支持储能集成的长期经济可行性。
• 该方法能够高效求解涉及风力发电、需求、价格和电池库存的高维问题，证明其在超越低维基准测试的可扩展性。