[论文解读] Transfer Learning as an Essential Tool for Digital Twins in Renewable Energy Systems

Chandana Priya Nivarthi|arXiv (Cornell University)|Mar 9, 2022

Machine Learning in Materials Science被引用 5

一句话总结

本文提出了一种与特征嵌入相结合的迁移学习（TL）框架，以增强可再生能源系统中的数字孪生技术，具体应用于风电功率预测和光伏逆变器异常检测。通过利用相似源任务的知识，并使用学习到的特征嵌入来处理缺失数据和可变输入长度，该方法在低数据场景下提升了模型的泛化能力和自主性。

ABSTRACT

Transfer learning (TL), the next frontier in machine learning (ML), has gained much popularity in recent years, due to the various challenges faced in ML, like the requirement of vast amounts of training data, expensive and time-consuming labelling processes for data samples, and long training duration for models. TL is useful in tackling these problems, as it focuses on transferring knowledge from previously solved tasks to new tasks. Digital twins and other intelligent systems need to utilise TL to use the previously gained knowledge and solve new tasks in a more self-reliant way, and to incrementally increase their knowledge base. Therefore, in this article, the critical challenges in power forecasting and anomaly detection in the context of renewable energy systems are identified, and a potential TL framework to meet these challenges is proposed. This article also proposes a feature embedding approach to handle the missing sensors data. The proposed TL methods help to make a system more autonomous in the context of organic computing.

研究动机与目标

• 解决可再生能源系统中因新电厂或正在演化的电厂导致的标注训练数据不足的问题。
• 通过从现有相似系统迁移知识，使数字孪生能够实现更快部署并提升性能。
• 通过一种新颖的特征嵌入方法，克服实际可再生能源应用中的数据稀缺和传感器数据缺失问题。
• 利用迁移学习提升数字孪生系统的自主性和自我学习能力，适用于回归和异常检测任务。
• 开发一种可扩展的、任务特定的输入特征表示方法，支持可变长度输入，并提升模型泛化能力。

提出的方法

• 将迁移学习建模为解决可再生能源系统中领域偏移和数据稀缺问题的方案，利用带有标注数据的源领域来提升目标领域的性能。
• 将迁移学习应用于回归任务（如日前功率预测）以及太阳能和风能系统中的异常检测。
• 设计一种特征嵌入机制，其中每个输入特征通过嵌入层表示，并与其实值结合形成任务特定的潜在表示。
• 通过每个特征的神经网络（特征编码器）处理单个特征，然后通过全局池化层对输出进行平均，以生成长度固定、与输入长度无关的表示。
• 端到端训练整个模型，联合学习特征嵌入和模型参数，以优化目标任务。
• 生成具有结构化特征依赖关系的合成数据（例如，从共享潜在变量 Z₁ 和 Z₂ 衍生的特征），以验证嵌入空间在聚类语义相关特征方面的能力。

实验结果

研究问题

• RQ1 在标注数据稀缺的可再生能源系统回归任务（如风电功率预测）中，如何有效应用迁移学习？
• RQ2 在存在缺失或可变长度输入特征的情况下，学习到的特征嵌入在多大程度上能提升模型鲁棒性？
• RQ3 在将知识迁移至新的可再生能源系统时，选择最相似源任务的最优策略是什么？
• RQ4 如何将迁移学习适应于可再生能源数字孪生应用中的零样本或少样本场景？
• RQ5 任务特定的特征嵌入是否能在潜在空间中实现语义相关特征的更好聚类，如在合成数据实验中所观察到的？

主要发现

• 所提出的特征嵌入方法成功在潜在空间中聚类相关特征，如二维可视化所示，源自同一潜在变量（例如，Z₁ 和 Z₂）的特征在空间上具有邻近性。
• 采用每个特征编码器和全局池化层的模型架构，能够有效处理可变输入长度，从而对缺失或动态的传感器数据具有鲁棒性。
• 合成数据实验表明，学习到的嵌入能够捕捉潜在的特征关系，共享同一来源的特征（如 Z₁）形成一致的聚类。
• 将迁移学习与数字孪生集成，可实现在仅需极少标注数据的情况下，快速部署新型或新投运的可再生能源电厂的预测模型。
• 该框架支持增量知识获取，符合有机计算和自学习数字孪生系统的原则。
• 在真实世界数据集上的初步测试证实了将TL应用于风电功率预测和光伏逆变器异常检测的可行性，相似性度量和少样本迁移策略的评估仍在进行中。