[论文解读] OptG: Optimizing Gradient-driven Criteria in Network Sparsity

Yuxin Zhang, Mingbao Lin+3 more|arXiv (Cornell University)|Jan 30, 2022

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

OptG 提出了一种新方法，通过解决梯度驱动剪枝中的独立性悖论——即权重移除假设参数独立，却与现实中权重之间的相互依赖性相矛盾——来优化网络稀疏性。通过将超级掩码训练与一种感知悖论的超级掩码优化器相结合，该优化器累积掩码梯度并采用稀疏度自适应学习率，OptG 在超高压缩率下实现了最先进性能，例如在 ResNet-50 中实现 98% 稀疏度时 ImageNet 上的 top-1 准确率达到 67.20%。

ABSTRACT

Network sparsity receives popularity mostly due to its capability to reduce the network complexity. Extensive studies excavate gradient-driven sparsity. Typically, these methods are constructed upon premise of weight independence, which however, is contrary to the fact that weights are mutually influenced. Thus, their performance remains to be improved. In this paper, we propose to optimize gradient-driven sparsity (OptG) by solving this independence paradox. Our motive comes from the recent advances in supermask training which shows that high-performing sparse subnetworks can be located by simply updating mask values without modifying any weight. We prove that supermask training is to accumulate the criteria of gradient-driven sparsity for both removed and preserved weights, and it can partly solve the independence paradox. Consequently, OptG integrates supermask training into gradient-driven sparsity, and a novel supermask optimizer is further proposed to comprehensively mitigate the independence paradox. Experiments show that OptG can well surpass many existing state-of-the-art competitors, especially at ultra-high sparsity levels. Our code is available at \url{https://github.com/zyxxmu/OptG}.

研究动机与目标

• 解决梯度驱动稀疏性中的独立性悖论，即权重移除假设独立，尽管实际中存在权重间的相互影响。
• 探究现有梯度驱动方法的局限性，这些方法一次性移除权重，导致损失变化估计不准确。
• 利用超级掩码训练的洞见，开发一种能更好近似在权重相互依赖下真实重要性的方法。
• 提出一种新型超级掩码优化器，根据稀疏化进展动态调整掩码学习率，以最小化误差差距。
• 在稀疏训练中实现最先进性能，特别是在独立性悖论导致性能下降最大的极端稀疏化水平下。

提出的方法

• 引入一种超级掩码优化器，跨训练迭代累积掩码梯度，并仅在每个训练周期开始时更新二值掩码。
• 制定一种感知悖论的学习率调度策略，使掩码学习率与当前稀疏度成比例缩放，以减少由权重相互依赖引起的误差。
• 将超级掩码训练整合到训练过程中的稀疏化中，保留权重的同时通过直通估计优化掩码值。
• 证明超级掩码训练隐式累积了被保留和被移除权重的梯度驱动稀疏性准则，为独立性悖论提供部分解决方案。
• 使用损失函数的一阶和高阶泰勒近似来衡量权重重要性，OptG 通过动态掩码优化改进该准则。
• 采用渐进式稀疏化调度，在稀疏化前将权重恢复到原始值，以实现稳定训练并在高稀疏度下获得更好收敛性。

Figure 1 : Top-1 accuracy v.s. sparsity with ResNet-50 on ImageNet. The proposed OptG significantly improves performance of other approaches, especially at the ultra-high sparsity levels.

实验结果

研究问题

• RQ1 梯度驱动稀疏性中的独立性假设在高稀疏度下在多大程度上会降低性能？
• RQ2 超级掩码训练能否在理论上与梯度驱动稀疏性准则关联？它是否能为独立性悖论提供部分解决方案？
• RQ3 与固定或权重同步调度相比，掩码优化的稀疏度自适应学习率调度对性能有何影响？
• RQ4 将超级掩码训练与训练过程中的稀疏化交错是否能带来更好的泛化能力以及在极端稀疏度下的更高准确率？
• RQ5 在动态掩码优化的稀疏训练中，掩码更新频率对训练稳定性和性能有何影响？

主要发现

• 在 98% 稀疏度下，OptG 在 ImageNet 上使用 ResNet-50 实现了 67.20% 的 top-1 准确率，显著优于强基线 STR（相同条件下仅达 62.84%）。
• 在 95% 稀疏度下，OptG 在所提出的稀疏度调度下实现 72.38% 的 top-1 准确率，优于其在 Zhu et al. 调度下的表现（71.82%），并超越 SET、RigL 和 DPF。
• 消融实验表明，所提出的感知悖论学习率调度优于恒定学习率和权重同步学习率，证明其在缓解误差差距方面的有效性。
• 频繁的掩码更新会因稀疏训练过程中的不稳定性而降低性能，凸显 OptG 中采用周期性、低频掩码更新的优势。
• 在 90% 稀疏度下，OptG 在 MobileNet-V1 上实现 70.27% 的 top-1 准确率，优于 STR（66.80%）和 GMP（61.80%）在相同稀疏度下的表现。
• 该方法能自动学习层级别的稀疏模式，无需人工设计，展示了其在不同网络架构和稀疏度场景下的适应能力。

Figure 2 : (a) The progression of the overall sparsity and (b) the learning rate of the supermasks with different $\alpha$ over the course of training.