[论文解读] Revisiting Loss Modelling for Unstructured Pruning

César Laurent, Camille Ballas+3 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Neural Network Applications参考文献 36被引用 6

一句话总结

本文通過比較損失曲面的線性和二次泰勒近似，重新探討了非結構化神經網絡剪枝中的損失建模問題。研究表明，通過迭代剪枝和步長正則化強制局部性可提升性能，且損失保留程度較好並不能保證微調後準確率更高——這挑戰了『最小化損失變化即足夠』的假設。

ABSTRACT

By removing parameters from deep neural networks, unstructured pruning methods aim at cutting down memory footprint and computational cost, while maintaining prediction accuracy. In order to tackle this otherwise intractable problem, many of these methods model the loss landscape using first or second order Taylor expansions to identify which parameters can be discarded. We revisit loss modelling for unstructured pruning: we show the importance of ensuring locality of the pruning steps. We systematically compare first and second order Taylor expansions and empirically show that both can reach similar levels of performance. Finally, we show that better preserving the original network function does not necessarily transfer to better performing networks after fine-tuning, suggesting that only considering the impact of pruning on the loss might not be a sufficient objective to design good pruning criteria.

研究动机与目标

• 重新評估損失建模在非結構化剪枝中的作用，特別是首階與二階泰勒展開的應用。
• 研究在剪枝步驟中強制局部性如何提升剪枝準則的品質。
• 評估剪枝期間保留訓練損失是否與微調後的模型性能提升相關。
• 確定包含梯度項的二次模型是否能放寬OBD/OBS所需的收斂假設。
• 評估較簡單的線性模型是否能在更低計算成本下達到與較複雜二次模型相當的性能。

提出的方法

• 基於收斂權重周圍的損失函數首階（線性）與二階（二次）泰勒展開，提出剪枝準則。
• 提出改進的二次模型，保留梯度項，降低對OBD/OBS收斂假設的依賴。
• 採用迭代剪枝與步長正則化，強制參數空間中的局部性，提升近似準確度。
• 在多個模型上比較剪枝性能：Magnitude Pruning（MP）、OBD、OBS，以及所提出的線性和二次模型。
• 使用超參數搜尋與微調來評估泛化能力，並測量微調後的驗證誤差差距。
• 採用Spearman等級相關係數評估損失保留與微調後性能之間的關係。

实验结果

研究问题

• RQ1 透過迭代剪枝與步長正則化強制局部性，是否能提升基於損失的剪枝準則的有效性？
• RQ2 首階泰勒近似（線性模型）是否能在非結構化剪枝中達到與二階近似（二次模型）相當的性能？
• RQ3 在剪枝期間最小化訓練損失的變化是否與微調後模型準確率更高相關？
• RQ4 二次模型中的梯度項是否能取代每次剪枝後微調的需求，從而放寬OBD/OBS的收斂假設？
• RQ5 保留損失函數是否足以作為設計有效剪枝準則的目標？還是其他因素（如微調動態）更為關鍵？

主要发现

• 線性和二次損失模型在保留訓練損失方面表現相近，而線性模型具有更低的計算成本。
• 透過迭代剪枝與步長正則化強制局部性，顯著提升了剪枝準則的品質。
• 保留梯度項的改進二次模型降低了對收斂假設的依賴，使直接剪枝成為可能，無需微調。
• 剪枝後損失變化幅度與微調後驗證誤差差距之間僅存在微弱相關性，表明單純保留損失不足以確保良好性能。
• 微調迅速抹去MP與最佳二次模型之間的初始損失差異，表明優化動態在剪枝後性能中起主導作用。
• 研究結果挑戰了『最小化損失變化是剪枝主要目標』的假設，表明未來的準則應考慮微調動態。