[论文解读] PAMS: Quantized Super-Resolution via Parameterized Max Scale

Huixia Li, Chenqian Yan+6 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Image Processing Techniques参考文献 43被引用 11

一句话总结

本文提出PAMS，一种用于超分辨率网络的新型量化方案，采用可学习的参数化最大缩放因子，自适应地设定量化范围，从而在无批归一化层的模型中减少大动态范围带来的误差。通过将PAMS与结构化知识蒸馏相结合，该方法在Set5数据集上实现了8位量化下的最先进性能（PSNR 32.124 dB），压缩比达2.42×，优于全精度基线模型。

ABSTRACT

Deep convolutional neural networks (DCNNs) have shown dominant performance in the task of super-resolution (SR). However, their heavy memory cost and computation overhead significantly restrict their practical deployments on resource-limited devices, which mainly arise from the floating-point storage and operations between weights and activations. Although previous endeavors mainly resort to fixed-point operations, quantizing both weights and activations with fixed coding lengths may cause significant performance drop, especially on low bits. Specifically, most state-of-the-art SR models without batch normalization have a large dynamic quantization range, which also serves as another cause of performance drop. To address these two issues, we propose a new quantization scheme termed PArameterized Max Scale (PAMS), which applies the trainable truncated parameter to explore the upper bound of the quantization range adaptively. Finally, a structured knowledge transfer (SKT) loss is introduced to fine-tune the quantized network. Extensive experiments demonstrate that the proposed PAMS scheme can well compress and accelerate the existing SR models such as EDSR and RDN. Notably, 8-bit PAMS-EDSR improves PSNR on Set5 benchmark from 32.095dB to 32.124dB with 2.42$ imes$ compression ratio, which achieves a new state-of-the-art.

研究动机与目标

• 解决无批归一化层的超分辨率模型在低比特量化时的性能退化问题。
• 减少由激活值与权重中大动态范围引起的量化误差。
• 通过模型压缩实现在资源受限设备上的高性能SR模型高效部署。
• 通过来自全精度网络的结构化知识蒸馏提升量化模型性能。
• 开发一种可训练的自适应量化范围，优于固定或启发式缩放方法。

提出的方法

• 引入参数化最大缩放（PAMS），通过可学习截断参数α动态调整激活值量化上限。
• 将PAMS应用于EDSR与RDN架构残差块中的权重与激活值，实现对称量化。
• 使用以α为参数的可微分截断函数，对量化前的激活值进行约束，支持基于梯度的优化。
• 在微调过程中引入结构化知识蒸馏（SKT）损失，对齐全精度网络与量化网络的特征图。
• 通过激活统计量的指数移动平均（EMA）初始化α，以提升收敛性与稳定性。
• 使用SKT损失对量化网络进行微调，以恢复表征能力并减少量化误差。

实验结果

研究问题

• RQ1 可学习的自适应量化范围是否能减少无批归一化层的低比特超分辨率网络中的性能退化？
• RQ2 PAMS在PSNR与视觉质量方面相较于固定最大值或PACT风格量化方法表现如何？
• RQ3 结构化知识蒸馏在多大程度上提升了低比特超分辨率模型的性能，尤其是在低比特宽度下？
• RQ4 基于EMA的α初始化是否相比随机初始化能带来更好的收敛性与性能？
• RQ5 PAMS能否在保持高压缩比与高速度的同时，实现8位量化超分辨率的最先进性能？

主要发现

• PAMS-EDSR在8位精度下于Set5数据集上达到32.124 dB PSNR，超过原始全精度EDSR（32.095 dB），创下新SOTA。
• 8位PAMS-EDSR模型实现2.42×模型压缩比，且精度损失极小。
• PAMS-EDSR结合SKT损失在4位精度下于Urban100数据集上PSNR提升0.071 dB，展现出优异的低比特性能。
• 在所有数据集与比特宽度下，α的EMA初始化均优于随机初始化，收敛性与性能更优。
• SKT损失在低比特宽度下（如4位时Urban100上提升0.071 dB）提供更大性能增益，表明其在低精度模型知识蒸馏中的有效性。
• PAMS在PSNR与视觉质量方面均优于TensorFlow Lite的固定最大值量化与PACT方法，生成更清晰的纹理与更少的伪影。