[论文解读] MWQ: Multiscale Wavelet Quantized Neural Networks

Qigong Sun, Yan Ren+4 more|arXiv (Cornell University)|Mar 9, 2021

Image and Signal Denoising Methods参考文献 48被引用 6

一句话总结

本文提出多尺度小波量化（MWQ），一种新颖的量化方法，通过离散小波变换（DWT）将神经网络权重和激活值分解为多尺度频率分量，然后对每个尺度应用自适应量化以减少信息损失。MWQ提升了低比特量化网络的表征能力与性能，在ImageNet上实现最高0.84%的准确率增益，在COCO目标检测与分割任务上实现0.3+ AP的提升。

ABSTRACT

Model quantization can reduce the model size and computational latency, it has become an essential technique for the deployment of deep neural networks on resourceconstrained hardware (e.g., mobile phones and embedded devices). The existing quantization methods mainly consider the numerical elements of the weights and activation values, ignoring the relationship between elements. The decline of representation ability and information loss usually lead to the performance degradation. Inspired by the characteristics of images in the frequency domain, we propose a novel multiscale wavelet quantization (MWQ) method. This method decomposes original data into multiscale frequency components by wavelet transform, and then quantizes the components of different scales, respectively. It exploits the multiscale frequency and spatial information to alleviate the information loss caused by quantization in the spatial domain. Because of the flexibility of MWQ, we demonstrate three applications (e.g., model compression, quantized network optimization, and information enhancement) on the ImageNet and COCO datasets. Experimental results show that our method has stronger representation ability and can play an effective role in quantized neural networks.

研究动机与目标

• 解决低比特量化神经网络中因信息损失与表征能力下降导致的性能退化问题。
• 克服传统量化方法将权重与激活视为孤立数值、未考虑其空间或频域关系的局限性。
• 利用小波变换提取的多尺度频率与空间信息，增强量化模型的表征能力。
• 在模型压缩、量化网络优化以及目标检测与分割中的特征增强等多个应用中，验证MWQ的有效性。
• 探索MWQ在标准分类任务之外的多样化深度学习任务中的灵活性与泛化潜力。

提出的方法

• 对权重与激活图应用离散小波变换（DWT），将其分解为多尺度频率分量（低频近似与高频细节）。
• 使用针对各分量分布定制的尺度特定量化参数（范围与步长）独立量化每个频率分量。
• 通过逆向离散小波变换（IDWT）将量化后的分量重构回空间域，供神经网络使用。
• 在训练过程中集成MWQ以实现量化网络优化与模型压缩，且在推理阶段IDWT计算可忽略不计。
• 在Mask R-CNN中应用基于小波的特征增强，通过分解特征图并重新量化高频分量，提升检测与分割性能。
• 采用多种小波基（如Haar、db2、sym2、coif2）评估框架在不同信号分解特性下的鲁棒性与灵活性。

实验结果

研究问题

• RQ1 与标准量化相比，基于小波的多尺度分解是否能提升低比特量化神经网络的表征能力？
• RQ2 通过小波变换引入空间与频域信息，对图像分类与目标检测中量化模型的性能有何影响？
• RQ3 在极端低比特量化（如4比特）设置下，MWQ在多大程度上可缓解信息损失与性能退化？
• RQ4 MWQ是否可有效应用于模型压缩之外的任务，例如目标检测与实例分割中的特征增强？
• RQ5 不同小波基如何影响MWQ框架的性能与鲁棒性？

主要发现

• 在使用coif2小波基将ResNet-50量化至4比特时，MWQ在ImageNet上实现0.84%的top-1准确率增益，优于基线0.84%。
• 在COCO检测基准上，MWQ增强的4比特量化网络相比基线提升超过0.3个AP，其中coif2小波基表现最优。
• 如图9所示的特征图可视化所示，该方法显著增强了ResNet-50的特征图，使高频细节在增强后更清晰保留。
• 所提出的特征增强技术同时提升了目标检测与实例分割指标，在全精度与4比特量化模型中，所有COCO指标（AP、AP50、AP75等）均实现0.3+ AP增益。
• MWQ的表征能力超越传统量化方法：通过将每个频率分量量化为2^k种状态，重构信号可表示超过2^k种不同状态，实现更丰富的表征。
• 该方法在推理阶段保持极低计算开销，因额外的IDWT操作在实际中可忽略不计，适合在边缘设备上部署。