[论文解读] VADER: Visualization and Analytics for Distributed Energy Resources

Raffi Sevlian, Jiafan Yu+10 more|arXiv (Cornell University)|Aug 30, 2017

Smart Grid Security and Resilience参考文献 26被引用 6

一句话总结

VADER 是一个可扩展的数据融合与分析平台，通过分层架构整合来自分布式能源资源（DERs）的异构数据流，如智能电表、逆变器和电动汽车充电设备。通过利用 Kafka、Spark 和 Cassandra 实现实时与批处理，VADER 实现了虚拟 SCADA 功能，增强了配电网的态势感知能力，并支持在可观测性较低的电网中进行机器学习驱动的状态估计与情景分析。

ABSTRACT

Enabling deep penetration of distributed energy resources (DERs) requires comprehensive monitoring and control of the distribution network. Increasing observability beyond the substation and extending it to the edge of the grid is required to achieve this goal. The growing availability of data from measurements from inverters, smart meters, EV chargers, smart thermostats and other devices provides an opportunity to address this problem. Integration of these new data poses many challenges since not all devices are connected to the traditional supervisory control and data acquisition (SCADA) networks and can be novel types of information, collected at various sampling rates and with potentially missing values. Visualization and analytics for distributed energy resources (VADER) system and workflow is introduced as an approach and platform to fuse these different streams of data from utilities and third parties to enable comprehensive situational awareness, including scenario analysis and system state estimation. The system leverages modern large scale computing platforms, machine learning and data analytics and can be used alongside traditional advanced distribution management system (ADMS) systems to provide improved insights for distribution system management in the presence of DERs.

研究动机与目标

• 解决因依赖变电站级 SCADA 数据而导致的配电网可观测性有限的问题。
• 将来自电网公司、第三方 DER 服务商和公开数据集的异构数据源整合到统一的分析平台中。
• 为高 DER 渗透率下的配电网调度员提供全面的态势感知与情景分析能力。
• 通过融合非 SCADA 数据、时间序列数据以及可能缺失的数据，克服传统 ADMS 的局限性。
• 开发一个可扩展的开源平台，支持实时与离线分析，以提升 DER 规划与控制能力。

提出的方法

• 采用分层架构，使用 Kafka 实现高吞吐、容错的消息队列，以从多样化 API 和设备中摄取数据。
• 使用 Apache Spark 进行批处理与流处理，执行数据清洗、特征工程和实时分析。
• 使用 Apache Cassandra 存储时间序列数据，以实现高可用性、可扩展性与高性能，适用于大规模流式数据处理。
• 应用机器学习与统计推断技术，在缺乏完整物理模型的情况下估计系统状态并建模网络行为。
• 通过融合智能电表、逆变器、电动汽车充电设备及其他 DER 的数据，生成‘虚拟-SCADA’数据流，以模拟 SCADA 级别的可观测性。
• 通过 REST API、Jupyter Notebook 和基于 D3.js 的仪表板可视化结果，供调度员与数据科学家使用。

实验结果

研究问题

• RQ1 如何将来自分布式能源资源的异构、分散的数据流融合为对配电网状态的连贯、可操作的视图？
• RQ2 在传统潮流模型不可用或不准确时，可采用哪些机器学习与统计技术来估计系统状态？
• RQ3 如何设计一个可扩展、容错的数据管道，以处理高吞吐量、时间序列的电网数据的实时与批处理？
• RQ4 在可观测性较低的配电网中，能否通过非 SCADA 数据源实现一定程度的虚拟 SCADA 功能，以提升态势感知能力？
• RQ5 该平台如何在不依赖集中式、高带宽 SCADA 基础设施的前提下，支持 DER 集成的情景分析与规划？

主要发现

• VADER 平台成功将来自多个异构数据源（包括智能电表、逆变器和电动汽车充电设备）的数据融合为统一的虚拟-SCADA 数据流。
• 系统利用 Apache Kafka、Spark 和 Cassandra 实现了实时与批处理分析，实现了大规模电网数据处理的高吞吐量与容错能力。
• 机器学习与统计推断技术在数据不完整或非均匀的情况下，仍能有效估计系统状态并建模网络行为。
• 平台通过交互式仪表板与基于 Jupyter 的分析，支持 DER 集成的情景分析与规划，增强了配电网调度员的决策能力。
• 使用开源工具与模块化分层架构，使平台具备可扩展性与适应性，适用于多样化的电网数据环境。
• VADER 通过在 SCADA 可见性有限的配电网中实现态势感知，为传统 ADMS 提供了可行替代方案，尤其适用于高 DER 渗透率环境。