[论文解读] Robust Quantization: One Model to Rule Them All
tldr: 提出 Kurtosis Regularization (KURE) 以塑造权重朝向接近均匀分布，从而得到一个对变化的量化比特宽度和策略鲁棒的单一模型，并且与 PTQ 和 QAT 兼容。
Neural network quantization methods often involve simulating the quantization process during training, making the trained model highly dependent on the target bit-width and precise way quantization is performed. Robust quantization offers an alternative approach with improved tolerance to different classes of data-types and quantization policies. It opens up new exciting applications where the quantization process is not static and can vary to meet different circumstances and implementations. To address this issue, we propose a method that provides intrinsic robustness to the model against a broad range of quantization processes. Our method is motivated by theoretical arguments and enables us to store a single generic model capable of operating at various bit-widths and quantization policies. We validate our method's effectiveness on different ImageNet models.
研究动机与目标
- 阐明在多样化的量化设置下工作所需的量化鲁棒深度神经网络。
- 建立一个理论框架，比较均匀分布与正态分布的权重在量化鲁棒性方面的差异。
- 引入 KURE，使张量分布朝向均匀性，同时不损害全精度性能。
- 在 ImageNet 的卷积神经网络上验证在 PTQ 和 QAT 下的经验鲁棒性提升。
提出的方法
- 在均匀分布和正态分布下公式化量化敏感性和均方误差（MSE），以证明均匀性在鲁棒性上的优势。
- 推导并证明解析结果，表明均匀张量的量化敏感性低于正态张量。
- 通过在训练损失中加入基于峰度的正则项来引入 KURE，以驱动权重朝向接近均匀的分布。
- 证明权重均匀化在量化前不影响收敛性或全精度准确性。
- 在 ImageNet 模型上结合 PTQ 和 QAT、跨多种体系结构对 KURE 进行经验验证。
- 将 KURE 与先前工作中的梯度 L1 正则化方法进行比较，突出计算开销较低以及更广泛的鲁棒性。
实验结果
研究问题
- RQ1权重/激活分布如何影响对量化步长和比特宽度变化的鲁棒性？
- RQ2均匀分布的张量是否在量化敏感性方面低于正态分布的张量？
- RQ3一个以峰度为目标的正则项能否在不损害全精度性能的情况下，将模型权重引导至接近均匀的分布？
- RQ4在 PTQ 和 QAT 下，单个 KURE 正则化模型是否对不同的量化策略和比特宽度具有鲁棒性？
- RQ5KURE 与先前的鲁棒性方法在性能和计算成本方面有何比较？
主要发现
- 均匀权重分布在跨越步长变化的量化敏感性低于正态分布。
- Kurtosis Regularization (KURE) 可以在不影响收敛性或量化前的全精度准确性的前提下，强制实现接近均匀的权重分布。
- KURE 提高了对量化步长变化以及 PTQ 和 QAT 设置下的比特宽度变化的鲁棒性。
- KURE 相对于先前的 L1 梯度正则化方法实现了更强的鲁棒性，同时具有更低的计算开销。
- 在 ImageNet 上使用 ResNet-18/50 和 MobileNet-V2 的经验结果在多种量化情景下显示鲁棒性提升。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。