[论文解读] Stochastic Games for Smart Grid Energy Management with Prospect Prosumers

S. Rasoul Etesami, Walid Saad+2 more|arXiv (Cornell University)|Oct 6, 2016

Smart Grid Energy Management参考文献 35被引用 4

一句话总结

本文提出了一种用于智能电网能源管理的随机博弈框架，其中产消者（兼具可再生能源和储能能力的家庭）利用前景理论建模行为偏差，以优化能源消耗与交易。该研究证明了平稳纳什均衡的存在性，并提出一种仅需极少信息共享的分布式算法，可收敛至 ϵ-纳什均衡；同时为配电公司设计了一种无遗憾在线算法，使其能随时间学习最优能源分配策略。

ABSTRACT

In this paper, the problem of smart grid energy management under stochastic dynamics is investigated. In the considered model, at the demand side, it is assumed that customers can act as prosumers who own renewable energy sources and can both produce and consume energy. Due to the coupling between the prosumers' decisions and the stochastic nature of renewable energy, the interaction among prosumers is formulated as a stochastic game, in which each prosumer seeks to maximize its payoff, in terms of revenues, by controlling its energy consumption and demand. In particular, the subjective behavior of prosumers is explicitly reflected into their payoff functions using prospect theory, a powerful framework that allows modeling real-life human choices. For this prospect-based stochastic game, it is shown that there always exists a stationary Nash equilibrium where the prosumers' trading policies in the equilibrium are independent of the time and their histories of the play. Moreover, a novel distributed algorithm with no information sharing among prosumers is proposed and shown to converge to an $ε$-Nash equilibrium. On the other hand, at the supply side, the interaction between the utility company and the prosumers is formulated as an online optimization problem in which the utility company's goal is to learn its optimal energy allocation rules. For this case, it is shown that such an optimization problem admits a no-regret algorithm meaning that regardless of the actual outcome of the game among the prosumers, the utility company can follow a strategy that mitigates its allocation costs as if it knew the entire demand market a priori. Simulation results show the convergence of the proposed algorithms to their predicted outcomes and present new insights resulting from prospect theory that contribute toward more efficient energy management in the smart grids.

研究动机与目标

• 建模智能电网中的能源管理，其中产消者在不确定性下表现出主观且具有行为偏差的决策。
• 应对可再生能源发电和储能动态的随机性，解决去中心化能源交易中的挑战。
• 开发一种分布式算法，使产消者在最小协调与信息共享下达到 ϵ-纳什均衡。
• 为配电公司设计一种无遗憾在线学习算法，基于不断变化的产消者行为动态优化能源分配。
• 通过仿真验证模型，展示在前景理论行为下能量需求的收敛性与可预测性提升。

提出的方法

• 将产消者互动建模为马尔可夫决策过程的随机博弈，其中每个产消者的收益函数引入前景理论，以反映损失厌恶与概率加权效应。
• 采用平稳策略框架，证明纳什均衡的存在性，且不依赖于时间与历史。
• 提出一种分布式、异步算法，每个产消者仅基于本地观测与递减步长更新其策略，几乎必然收敛至 ϵ-纳什均衡。
• 为配电公司采用无遗憾在线学习算法，利用 regret 最小化框架，随时间自适应调整能源分配。
• 将储能动态整合进模型，使产消者能够储存过剩可再生能源，避免未来短缺。
• 通过三名产消者的仿真验证方法，改变可再生能源可靠性与储能水平，展示算法收敛性与 regret 减少。

实验结果

研究问题

• RQ1 在具有前景理论行为偏好的产消者与不确定可再生能源发电的随机博弈中，是否存在平稳纳什均衡？
• RQ2 能否通过一种分布式算法使产消者在不共享完整信息或策略的情况下收敛至 ϵ-纳什均衡？
• RQ3 当产消者行为具有随机性且非遍历性时，配电公司能源分配策略的表现如何？可提供何种性能保证？
• RQ4 与规范性模型相比，前景理论在多大程度上提升了智能电网能源管理的现实性与效率？
• RQ5 即使缺乏对产消者行为的先验知识，配电公司能否随时间学习到最优能源分配规则，且 regret 逐渐趋近于零？

主要发现

• 所提出的随机博弈中存在平稳纳什均衡，确保在前景理论偏好下产消者长期行为的稳定性。
• 所提出的分布式算法几乎必然收敛至 ϵ-纳什均衡，且信息交换极少，支持去中心化决策。
• 仿真结果证实算法收敛至预测的均衡策略，产消者根据损失厌恶与储能约束调整行为。
• 配电公司 regret 随时间减少，交互次数增加后趋近于零，尤其在产消者市场稳定于 ϵ-纳什均衡后更为明显。
• 可再生能源可靠性更高的产消者（如 μ₃=1, σ²₃=1）所需外部能源更少，且分配方差更低；而可靠性较低的产消者（如 μ₁=0.5, σ²₁=2）表现出更高且更不稳定的需电量波动。
• 配电公司能源分配的方差随时间减小，表明在产消者行为稳定后，预测性与学习效率均得到提升。