[论文解读] $S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of Low-bit Shift Networks

Xinlin Li, Bang Liu+4 more|arXiv (Cornell University)|Jul 7, 2021

Brain Tumor Detection and Classification被引用 4

一句话总结

该论文提出S³（符号-稀疏-偏移）重参数化方法，将低比特离散权重分解为符号、稀疏性和偏移分量，以缓解移位网络中的梯度消失和权重符号冻结问题。通过在三维增强参数空间中进行优化，S³使3比特移位网络在ImageNet上的top-1准确率与全精度模型相当，消除了对预训练权重的依赖，同时提升了训练稳定性和性能。

ABSTRACT

Shift neural networks reduce computation complexity by removing expensive multiplication operations and quantizing continuous weights into low-bit discrete values, which are fast and energy efficient compared to conventional neural networks. However, existing shift networks are sensitive to the weight initialization, and also yield a degraded performance caused by vanishing gradient and weight sign freezing problem. To address these issues, we propose S low-bit re-parameterization, a novel technique for training low-bit shift networks. Our method decomposes a discrete parameter in a sign-sparse-shift 3-fold manner. In this way, it efficiently learns a low-bit network with a weight dynamics similar to full-precision networks and insensitive to weight initialization. Our proposed training method pushes the boundaries of shift neural networks and shows 3-bit shift networks out-performs their full-precision counterparts in terms of top-1 accuracy on ImageNet.

研究动机与目标

• 解决低比特移位网络性能差和训练不稳定的难题，其在反向传播过程中易受梯度消失和权重符号冻结的影响。
• 克服移位网络对权重初始化的敏感性，目前实现竞争力结果需依赖预训练的全精度权重。
• 开发一种重参数化技术，使低比特移位网络能够从随机初始化开始有效训练，而无需依赖全精度预训练。
• 在ImageNet等大规模基准上实现3比特移位网络与全精度模型的性能相当。
• 提供一种理论基础坚实、对超参数选择（如学习率衰减和正则化强度）不敏感的鲁棒训练策略。

提出的方法

• 提出S³重参数化，将离散权重三重分解为符号、稀疏性（稀疏性参数）和偏移（比特位置）分量，形成增强的三维参数空间。
• 使用密集权重正则化器，在训练过程中最大化离散权重的ℓ₀范数，以促进非零激活并防止权重符号冻结。
• 应用直通估计器（STE）近似通过不可微量化器的梯度，同时S³分解确保了更正交的优化动态。
• 在训练过程中对稀疏性参数进行正则化，以维持与全精度网络相似的有效权重动态，提升收敛性和稳定性。
• 在优化过程中解耦符号、稀疏性和偏移的作用，使各分量能够独立且更有效地学习。
• 对密集权重正则化器超参数α使用线性或余弦衰减调度器，尽管结果表明该方法对α的选择具有鲁棒性，其主要优势出现在训练初期。

实验结果

研究问题

• RQ1 低比特移位网络是否能在不依赖预训练权重的情况下，实现与全精度模型相当的性能？
• RQ2 符号-稀疏-偏移重参数化策略是否能有效缓解低比特训练中的梯度消失和权重符号冻结问题？
• RQ3 所提方法对超参数（如密集权重正则化强度和学习率衰减调度）的敏感性如何？
• RQ4 使用S³重参数化的3比特移位网络是否能匹配或超越全精度ResNet-18和ResNet-50在ImageNet上的top-1准确率？
• RQ5 S³方法是否能实现低比特移位网络从随机初始化的稳定且收敛的训练，即使二值参数频繁发生符号变化？

主要发现

• S³重参数化使3比特移位网络在使用ResNet-18时，于ImageNet上达到69.83%的top-1准确率，与全精度模型性能相当。
• 在200个训练周期下，3比特S³网络使用ResNet-50在ImageNet上达到75.75%的top-1准确率，显著缩小了与全精度模型的准确率差距。
• 该方法对超参数选择具有鲁棒性：在α值范围（1e-2至1e-6）和衰减调度器（线性和余弦）下，性能保持稳定。
• 若不使用密集权重正则化器，训练无法收敛，表明该正则化器对防止权重符号冻结和实现稳定优化至关重要。
• 先前方法中预训练权重带来的性能增益，很大程度上源于良好的初始符号估计，而S³通过其重参数化设计天然实现了这一点。
• 该方法显著降低了对全精度预训练的依赖，使从随机初始化开始训练成为可能，同时保持高准确率和鲁棒性。