[论文解读] When Smaller Wins: Dual-Stage Distillation and Pareto-Guided Compression of Liquid Neural Networks for Edge Battery Prognostics

Dhivya Dharshini Kannan, Wei Li+4 more|arXiv (Cornell University)|Jan 9, 2026

Advanced Battery Technologies Research被引用 0

一句话总结

DLNet 将高容量的液态神经网络通过双阶段蒸馏、Euler 基离散化、帕累托引导的选择、剪枝与量化，压缩为可在边缘部署的学生模型，在 Arduino 上实现强的状态健康预测，显著降低尺寸与延迟。

ABSTRACT

Battery management systems increasingly require accurate battery health prognostics under strict on-device constraints. This paper presents DLNet, a practical framework with dual-stage distillation of liquid neural networks that turns a high-capacity model into compact and edge-deployable models for battery health prediction. DLNet first applies Euler discretization to reformulate liquid dynamics for embedded compatibility. It then performs dual-stage knowledge distillation to transfer the teacher model's temporal behavior and recover it after further compression. Pareto-guided selection under joint error-cost objectives retains student models that balance accuracy and efficiency. We evaluate DLNet on a widely used dataset and validate real-device feasibility on an Arduino Nano 33 BLE Sense using int8 deployment. The final deployed student achieves a low error of 0.0066 when predicting battery health over the next 100 cycles, which is 15.4% lower than the teacher model. It reduces the model size from 616 kB to 94 kB with 84.7% reduction and takes 21 ms per inference on the device. These results support a practical smaller wins observation that a small model can match or exceed a large teacher for edge-based prognostics with proper supervision and selection. Beyond batteries, the DLNet framework can extend to other industrial analytics tasks with strict hardware constraints.

研究动机与目标

• 在设备端严格约束下推动准确的电池健康预测以用于 BMS 部署。
• 开发一个面向部署的框架，将高容量液态神经网络（LNN）转换为紧凑的边缘模型。
• 通过离散化、蒸馏、基于帕累托的模型选择、剪枝和量化实现边缘友好的推理。
• 在具有 int8 部署的紧凑 Arduino 板上展示对真实设备的可行性。

提出的方法

• 训练一个高容量 LNN 教师模型，以在一个时间段内预测电池的 SoH。
• 将教师的连续时间动力学重新表述为 Euler 离散化的学生，以实现边缘推理。
• 采用双阶段蒸馏，使学生既学习教师行为又学习真实标签。
• 应用帕累托引导的选择，权衡预测误差与部署成本，以挑选精英学生。
• 对选定的学生进行剪枝、进行第二次蒸馏，并再次进行帕累托选择以实现边缘部署。
• 将最终模型导出到 LiteRT，并进行 int8 量化以实现设备端推理。

实验结果

研究问题

• RQ1 高性能 LNN 教师能否有效压缩为边缘可部署的学生模型而不牺牲准确性？
• RQ2 Euler 基离散化加双阶段蒸馏是否能保留用于长期电池预测的关键时序动态？
• RQ3 帕累托引导的选择是否能在准确性与边缘部署成本（尺寸、延迟、能量、CO2）之间进行充分权衡，以产生实用模型？
• RQ4 是否存在一个能实现真实设备部署（如 Arduino Nano 33 BLE Sense）且具有 int8 量化模型的实用工作流？

主要发现

• DLNet 实现了对未来 100 次循环的 SoH 预测的 MAE 为 0.0066，相较教师模型降低了 15.4%。
• 模型尺寸从 616 kB 降至 94 kB（84.7% 的减少），在最终部署的学生模型中保持或提升了准确性。
• 第一阶段蒸馏显示较小的基于 Euler 的学生可以达到甚至超越教师的准确性并大幅减小体积（如 16 维余弦损失的学生约为教师规模的 52%）。
• 第二阶段剪枝结合稀疏性并重新蒸馏进一步压缩尺寸，同时保持有竞争力的准确性，某些稀疏设置在降低能量/CO2 的同时仍保持良好的 MAE/RMSE。
• 基于帕累托的选择识别出多位在误差与成本之间取得平衡的精英学生，而非单一最佳模型。
• 在 Arduino Nano 33 BLE Sense 上实现的实际设备推理大约 21 ms/次，int8 下实现了实用的就地电池预测。