[论文解读] SEFR: A Fast Linear-Time Classifier for Ultra-Low Power Devices

Hamidreza Keshavarz, Mohammad Saniee Abadeh+1 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Battery Technologies Research参考文献 29被引用 10

一句话总结

SEFR 是一种新型的线性时间、超低功耗二分类器，专为资源受限设备（如微控制器）上的设备端机器学习而设计。它在实现最先进准确率的同时，比基线分类器快 63 倍、能效高 70 倍，且训练与推理均可在 Arduino Uno 等设备上完全执行，仅需极少的内存和功耗。

ABSTRACT

A fundamental challenge for running machine learning algorithms on battery-powered devices is the time and energy limitations, as these devices have constraints on resources. There are resource-efficient classifier algorithms that can run on these devices, but their accuracy is often sacrificed for resource efficiency. Here, we propose an ultra-low power classifier, SEFR, with linear time complexity, both in the training and the testing phases. SEFR is comparable to state-of-the-art classifiers in terms of classification accuracy, but it is 63 times faster and 70 times more energy efficient than the average of state-of-the-art and baseline classifiers on binary class datasets. The energy and memory consumption of SEFR is very insignificant, and it can even perform both train and test phases on microcontrollers. To our knowledge, this is the first multipurpose classification algorithm specifically designed to perform both training and testing on ultra-low power devices.

研究动机与目标

• 解决因能效、内存和计算资源受限，导致在超低功耗设备上部署机器学习所面临的重大挑战。
• 克服现有设备端分类器为追求效率而牺牲准确率，或无法实现设备端训练的局限性。
• 设计一种分类器，可在微控制器上直接完成训练与推理，无需依赖远程服务器。
• 在训练和推理阶段均保持线性时间复杂度的同时，实现与最先进模型相当的高准确率。
• 实现极高的能效与内存效率，以支持在 SRAM 和电池寿命有限的设备（如 Arduino Uno）上部署。

提出的方法

• 提出 SEFR（可扩展、高效、快速分类器），一种在训练和测试阶段均具有 O(n) 复杂度的线性时间二分类器。
• 采用可学习权重和偏置的特征加权线性组合，通过一种快速、迭代的更新规则进行优化，以最小化分类误差。
• 使用 C 语言实现算法，以适配微控制器，相比高级语言实现可显著降低内存和功耗开销。
• 应用特征量化（至 8 位整数）以压缩数据，并满足 Arduino Uno 等设备的闪存内存限制。
• 针对多分类问题，采用一对多（one-vs-all）策略，为每个类别单独学习权重向量，以提升可解释性与性能。
• 通过将学习到的权重可视化为特征重要性图，确保模型可解释性，支持人类可读的模式识别（例如，Semeion 数据集中数字形状的识别）。

实验结果

研究问题

• RQ1 能否设计一种线性时间分类器，使其在准确率和效率之间达到平衡，从而可在超低功耗微控制器上运行训练与推理？
• RQ2 在二分类任务中，SEFR 的能效与时间效率相较于 XGBoost、LightGBM 和 SVM 等最先进分类器表现如何？
• RQ3 在嵌入式系统中，当使用压缩的低精度数据进行训练与测试时，SEFR 能在多大程度上保持准确率？
• RQ4 SEFR 的模型权重是否可被有意义地可视化，以提供关于学习到的决策边界的可解释性洞察？
• RQ5 在实际微控制器（如 Arduino Uno）上部署 SEFR 实现端到端设备端学习是否具备实际可行性？

主要发现

• SEFR 在二分类数据集上的分类准确率与 XGBoost、LightGBM 和 CatBoost 等最先进模型相当。
• 平均而言，SEFR 的速度比最先进分类器与基线分类器的平均值快 63 倍，能效高 70 倍。
• 在测试数据集上，SEFR 消耗的能量仅为 XGBoost、LightGBM、CatBoost、SVM 和朴素贝叶斯的 2.14%、1.22%、1.22%、1.22% 和 1.22%。
• 在 Arduino Uno 上，对 100 条记录和 100 个特征的数据进行训练耗时 195 毫秒，相同数据的推理时间小于 1 毫秒。
• 即使在数据集被下采样并量化为 8 位整数后，模型仍保持高准确率，表明其对数据压缩具有强大鲁棒性。
• 在 Semeion 数据集上的权重可视化揭示了可解释的模式（例如手写数字中的边缘特征），证实 SEFR 与 xAI 方法论在可解释性方面兼容。