[论文解读] Quantization-Guided Training for Compact TinyML Models

Sedigh Ghamari, Koray Özcan+5 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Neural Network Applications被引用 5

一句话总结

本文提出量化引导训练（QGT），一种在损失函数中使用自定义正则化的方法，通过引导深度神经网络（DNN）权重向量化区间聚集，减少量化误差，实现极端模型压缩。QGT在仅损失3%精度的情况下，将一个人体检测模型的参数量压缩至81KB（17.7倍压缩比），实现2位精度下的高效部署。

ABSTRACT

We propose a Quantization Guided Training (QGT) method to guide DNN training towards optimized low-bit-precision targets and reach extreme compression levels below 8-bit precision. Unlike standard quantization-aware training (QAT) approaches, QGT uses customized regularization to encourage weight values towards a distribution that maximizes accuracy while reducing quantization errors. One of the main benefits of this approach is the ability to identify compression bottlenecks. We validate QGT using state-of-the-art model architectures on vision datasets. We also demonstrate the effectiveness of QGT with an 81KB tiny model for person detection down to 2-bit precision (representing 17.7x size reduction), while maintaining an accuracy drop of only 3% compared to a floating-point baseline.

研究动机与目标

• 解决在低于8位精度下实现极端模型压缩的同时保持高精度的挑战，以适应边缘设备部署。
• 通过直接引导权重分布向量化区间聚集，克服标准量化感知训练（QAT）的局限性。
• 通过透明的量化误差监控，识别并暴露模型各层中的量化瓶颈。
• 实现与现有训练流程的无缝集成，无需对框架进行侵入式修改。
• 证明在真实TinyML应用（如人体检测）中，超紧凑、低比特精度（如2位）模型的可行性。

提出的方法

• 在损失函数中引入正则化项，惩罚远离量化区间的权重值，促使权重向最优量化级别聚集。
• 以反量化后的权重作为正则化目标，避免需单独学习缩放因子和零点参数。
• 通过灵活的正则化设计，支持与定制硬件兼容的非线性量化方案。
• 将正则化项作为反向传播过程中的软约束，根据位精度和模型深度动态调整。
• 将QGT与现有压缩技术（如剪枝和混合精度量化）结合，实现进一步的模型压缩。
• 调节正则化强度超参数λ，以控制收敛速度与量化精度之间的权衡。

实验结果

研究问题

• RQ1 与标准QAT相比，基于正则化的训练是否能更有效地引导DNN权重向低比特精度的量化区间聚集？
• RQ2 在2位精度下，QGT与PTQ和QAT在精度和模型大小方面相比如何？
• RQ3 QGT能否识别并暴露那些本质上对量化具有抗性的层，即量化瓶颈？
• RQ4 与标准训练范式相比，QGT在多大程度上可减少训练时间并提升收敛速度？
• RQ5 QGT能否使2位精度下子100KB的模型实现可接受的精度，适用于真实世界的TinyML应用？

主要发现

• 在2位精度下，QGT将一个人体检测模型的参数量压缩至81KB，相比1440KB的FP32基线模型，实现17.7倍压缩。
• QGT训练的2位模型在MobileNet V2上保持87.3%的精度，相比FP32模型的90.4%仅下降3.1%。
• 与PTQ相比，QGT在MobileNet V2上将2位精度下的精度提升18.9%，将精度差距从22.0%缩小至3.1%。
• 与先前的8位人体检测模型（如Chowdhery et al., 2019中的250KB）相比，QGT实现了3倍的压缩优势，2位精度下达到81KB。
• 在ARM A72处理器上，QGT支持的8位推理相比FP32实现约5倍的延迟降低，MobileNet V1的推理速度达246 FPS。
• QGT的正则化机制起到动态学习率的作用，可控制收敛速度与解空间探索能力。