[论文解读] Switchable Precision Neural Networks

Luis Guerra, Bohan Zhuang+2 more|arXiv (Cornell University)|Feb 7, 2020

Neural Networks and Applications参考文献 54被引用 15

一句话总结

该论文提出开关精度神经网络（SP-Nets），一种统一架构，可在推理过程中动态调整模型精度，实现精度与效率的实时权衡。通过结合可切换批量归一化与自蒸馏训练方案，SP-Nets在多个量化级别下均实现更优的准确率，优于独立训练的量化模型，同时保持对资源受限设备的兼容性。

ABSTRACT

Instantaneous and on demand accuracy-efficiency trade-off has been recently explored in the context of neural networks slimming. In this paper, we propose a flexible quantization strategy, termed Switchable Precision neural Networks (SP-Nets), to train a shared network capable of operating at multiple quantization levels. At runtime, the network can adjust its precision on the fly according to instant memory, latency, power consumption and accuracy demands. For example, by constraining the network weights to 1-bit with switchable precision activations, our shared network spans from BinaryConnect to Binarized Neural Network, allowing to perform dot-products using only summations or bit operations. In addition, a self-distillation scheme is proposed to increase the performance of the quantized switches. We tested our approach with three different quantizers and demonstrate the performance of SP-Nets against independently trained quantized models in classification accuracy for Tiny ImageNet and ImageNet datasets using ResNet-18 and MobileNet architectures.

研究动机与目标

• 解决神经网络中静态量化带来的挑战，即模型固定于单一精度级别，无法根据运行时的资源约束进行调整。
• 实现在推理运行时按需切换权重和激活的精度，以支持在内存、延迟和功耗约束变化下的动态推理。
• 通过解决不同精度切换之间批量归一化差异，克服多精度网络中的训练不稳定性。
• 通过自蒸馏策略，利用全精度教师网络的知识指导低精度学生分支，提升低精度分支的性能。
• 在 ImageNet 和 Tiny ImageNet 基准上，于多种量化器和模型架构（包括 ResNet-18 和 MobileNet）上验证 SP-Nets 的有效性。

提出的方法

• 引入可切换批量归一化（S-BN），其中每个精度切换分支独立维护批量归一化统计量，以防止训练期间特征分布不匹配。
• 提出一种自蒸馏训练方案，其中全精度分支作为教师，向低精度学生分支提供软标签，以指导其在优化过程中的学习。
• 通过在优化器更新前合并所有分支的梯度，联合训练一个共享的多精度分支网络，实现联合优化。
• 支持多种量化函数（如基于 ReLU、对数、均匀量化），并通过引入宽度瘦身能力扩展框架，实现额外的模型压缩。
• 使用组合损失函数，包含交叉熵损失（$\mathcal{L}_{\text{out}}$）与知识蒸馏损失（$\mathcal{L}_{f}$），并通过超参数 $\alpha_1=1$、$\alpha_2=10^{-7}$ 平衡目标。
• 通过在运行时动态选择权重和激活的期望位宽，支持运行时推理，实现对设备约束的即时适应。

实验结果

研究问题

• RQ1 能否训练一个单一神经网络，使其支持权重和激活的多种精度级别，且性能下降最小？
• RQ2 在联合训练过程中，如何解决不同精度切换分支之间的批量归一化不一致问题？
• RQ3 来自全精度教师网络的知识蒸馏是否能提升共享网络中低精度分支的准确性？
• RQ4 精度切换数量如何影响训练稳定性和最终模型性能？
• RQ5 SP-Nets 是否能在多种量化方案和模型架构下，优于独立训练的量化模型？

主要发现

• 采用自蒸馏的 SP-Nets 在 Tiny ImageNet 上实现的 Top-1 准确率高于独立训练的量化模型，使用 ResNet-18 时，32 位权重与 3 位激活可达到 54.5% 的 Top-1 准确率。
• 自蒸馏方案显著提升低精度分支性能，在对数量化器（Logarithmic 2）上，相比无蒸馏训练，准确率最高提升 3.9 个百分点。
• 可切换批量归一化（S-BN）对网络收敛至关重要：未使用 S-BN 的网络在所有精度切换分支上均出现准确率停滞，而使用 S-BN 后可实现稳定且逐步提升的学习过程。
• 切换分支数量影响训练动态——从 4 个增加到 16 个分支时，需降低初始学习率（0.03），且准确率略有下降，表明优化复杂性存在权衡。
• SP-Nets 表明，权重和激活均对量化敏感，但其相对影响因模型而异：对于 ResNet-18，权重的敏感度与激活相近；而对于 MobileNet，激活更为敏感。
• SP-Net 在 2 位权重与 32 位激活下达到 Tiny ImageNet 上 53.3% 的 Top-1 准确率，而 32 位权重与 2 位激活的分支达到 53.9%，表明精度选择对性能有显著影响。