[论文解读] Personalized Dynamic Pricing Policy for Electric Vehicles: Reinforcement learning approach

Sangjun Bae, Balaźs Kulcsár+1 more|arXiv (Cornell University)|Jan 1, 2024

Electric Vehicles and Infrastructure被引用 4

一句话总结

本文提出了一种基于深度Q-learning的个性化动态定价（PeDP）策略，用于快速电动汽车充电站（fast-EVCSs），以最大化收入。通过博弈论效用函数对电动汽车用户自私行为进行建模，并模拟多个fast-EVCSs之间的竞争，该方法表明，纳入等待时间和隐私保护的用户数据可显著提升收入，同时揭示了人工智能滥用共享信息的风险。

ABSTRACT

With the increasing number of fast-electric vehicle charging stations (fast-EVCSs) and the popularization of information technology, electricity price competition between fast-EVCSs is highly expected, in which the utilization of public and/or privacy-preserved information will play a crucial role. Self-interest electric vehicle (EV) users, on the other hand, try to select a fast-EVCS for charging in a way to maximize their utilities based on electricity price, estimated waiting time, and their state of charge. While existing studies have largely focused on finding equilibrium prices, this study proposes a personalized dynamic pricing policy (PeDP) for a fast-EVCS to maximize revenue using a reinforcement learning (RL) approach. We first propose a multiple fast-EVCSs competing simulation environment to model the selfish behavior of EV users using a game-based charging station selection model with a monetary utility function. In the environment, we propose a Q-learning-based PeDP to maximize fast-EVCS' revenue. Through numerical simulations based on the environment: (1) we identify the importance of waiting time in the EV charging market by comparing the classic Bertrand competition model with the proposed PeDP for fast-EVCSs (from the system perspective); (2) we evaluate the performance of the proposed PeDP and analyze the effects of the information on the policy (from the service provider perspective); and (3) it can be seen that privacy-preserved information sharing can be misused by artificial intelligence-based PeDP in a certain situation in the EV charging market (from the customer perspective).

研究动机与目标

• 解决在具有自利电动汽车用户的竞争性动态市场中，快速充电站的收入最大化挑战。
• 使用考虑电价、等待时间及荷电状态的货币效用函数，对电动汽车用户行为进行建模。
• 基于深度Q-learning设计一种个性化动态定价策略（PeDP），以适应实时的用户和车站状态。
• 评估信息可用性（公开 vs. 隐私保护数据）对定价性能和收入的影响。
• 从客户视角，探究AI驱动的定价策略对隐私保护数据的潜在滥用问题。

提出的方法

• 基于博弈论充电站选择模型与货币效用函数，开发了一个多快速充电站仿真环境。
• 将电动汽车用户的效用表述为电价、等待时间、荷电状态（SOC）和能效的函数。
• 实现一个深度Q-learning智能体，学习个性化定价策略，以随时间最大化快速充电站的收入。
• 使用回放缓冲区和目标网络以稳定训练，损失函数最小化预测Q值与目标Q值之间的差异。
• 采用ε-greedy探索策略，以在学习过程中平衡利用与探索。
• 将PeDP与经典伯特兰德竞争模型进行对比，以评估收入和市场动态。

实验结果

研究问题

• RQ1 在效用函数中纳入等待时间，如何影响快速充电站竞争中的市场均衡与收入？
• RQ2 在竞争性电动汽车充电市场中，个性化动态定价相较于公开定价，能在多大程度上提升收入？
• RQ3 隐私保护用户信息的可用性如何影响AI驱动定价策略的性能？
• RQ4 AI驱动的PeDP策略是否可能以损害个体电动汽车用户的方式，滥用共享信息？
• RQ5 在何种条件下，系统会收敛至稳定的价格与用户分配结果？

主要发现

• 所提出的PeDP在收入生成方面显著优于经典伯特兰德竞争模型，尤其在用户效用中纳入等待时间时表现更优。
• 在效用函数中引入估计等待时间，可带来更高效的市场结果，并显著提升快速充电站的收入。
• 当使用隐私保护信息时，PeDP实现了更高的收入，证明了用户级数据在动态定价中的价值。
• 研究揭示，基于AI的PeDP可能滥用隐私保护数据，以策略性方式损害个体用户，引发伦理担忧。
• 在SPAO（单峰于一点）条件下，系统收敛至纳什稳定分组，确保用户分组稳定与行为可预测。
• 深度Q-learning智能体通过与仿真环境的交互，成功学习到最优定价策略，实现了随时间稳定的收入增长。