[论文解读] Transfer Learning and Vision Transformer based State-of-Health prediction of Lithium-Ion Batteries

Pengyu Fu, Liang Chu+4 more|arXiv (Cornell University)|Sep 7, 2022

Advanced Battery Technologies Research被引用 5

一句话总结

本文提出一种基于视觉Transformer（ViT）并结合迁移学习的锂离子电池健康状态（SOH）预测模型。该方法以固定电压范围内离散化的充电数据作为输入，利用ViT捕捉循环的全局特征，并通过全连接层进行回归。该方法在预测精度和迁移能力方面表现优异，尤其在仅使用少量早期循环数据时，优于现有深度学习方法。

ABSTRACT

In recent years, significant progress has been made in transportation electrification. And lithium-ion batteries (LIB), as the main energy storage devices, have received widespread attention. Accurately predicting the state of health (SOH) can not only ease the anxiety of users about the battery life but also provide important information for the management of the battery. This paper presents a prediction method for SOH based on Vision Transformer (ViT) model. First, discrete charging data of a predefined voltage range is used as an input data matrix. Then, the cycle features of the battery are captured by the ViT which can obtain the global features, and the SOH is obtained by combining the cycle features with the full connection (FC) layer. At the same time, transfer learning (TL) is introduced, and the prediction model based on source task battery training is further fine-tuned according to the early cycle data of the target task battery to provide an accurate prediction. Experiments show that our method can obtain better feature expression compared with existing deep learning methods so that better prediction effect and transfer effect can be achieved.

研究动机与目标

• 解决在不同工作条件下实现准确且可泛化的锂离子电池SOH预测的挑战。
• 提升电池循环数据的特征表示能力，以增强SOH预测性能。
• 通过仅使用目标电池的四个早期循环数据点实现迁移学习，降低数据和训练成本。
• 探索将原本专为图像设计的视觉Transformer应用于电池循环数据进行SOH估计的可行性。
• 减少对人工设计的老化特征或复杂电化学测量的依赖。

提出的方法

• 输入数据为恒流（CC）充电期间预设电压范围内离散化的充电数据，形成二维矩阵。
• 使用视觉Transformer（ViT）模型从循环数据矩阵中提取全局长程依赖关系，捕捉循环级别的特征。
• 通过最终的全连接（FC）层将提取的特征回归为SOH值。
• 通过在具有已知工作条件的源电池上预训练ViT，然后仅使用目标电池的早期循环数据微调FC层，实现迁移学习。
• 在微调过程中端到端训练模型，同时冻结ViT编码器权重，以加速收敛并提升泛化能力。
• 该方法仅依赖直接可测量的电压和电流数据，无需额外的电化学测量。

实验结果

研究问题

• RQ1 视觉Transformer能否有效从电池充放电循环数据中提取有意义的全局特征用于SOH预测？
• RQ2 所提出的ViT-FC模型结合迁移学习，在预测精度和数据效率方面与现有深度学习模型相比如何？
• RQ3 该模型在仅使用早期循环数据的情况下，对不同电池和工作条件的泛化能力如何？
• RQ4 基于ViT的方法是否优于依赖人工提取老化特征的CNN和LSTM模型？
• RQ5 该模型能否在无需复杂电化学测量或高质量数据的情况下实现高精度？

主要发现

• ViT-FC模型在预测精度方面优于CNN和LSTM模型，尤其在电池老化程度增加时表现更优。
• 即使仅使用目标电池的四个初始充放电循环数据，模型仍能保持高精度，展现出强大的迁移能力。
• 对于Cell 02和Cell 07等电池，预测误差在整个生命周期内持续保持在2%以下，即使在20% SOH时也表现出色，表明其长期鲁棒性。
• 即使在CNN模型中引入内阻和容量数据进行增强，ViT-FC仍表现更优，证明其仅从原始数据中即可有效提取特征。
• 该模型在低数据场景下展现出优于现有方法的特征表示能力和泛化性能。
• 通过利用迁移学习，该方法显著降低了数据和训练成本，使其适用于在线电池管理系统（BMS）应用。