[论文解读] Pruning untrained neural networks: Principles and Analysis

Soufiane Hayou, Jean-François Ton+2 more|arXiv (Cornell University)|Feb 19, 2020

Machine Learning and Data Classification参考文献 36被引用 10

一句话总结

本文对模型初始化时的神经网络剪枝进行了理论分析，提出了一套有原则的方法，以构建在训练过程中保持稳定、避免完全剪枝某一层等问题的稀疏结构。该方法通过理论保证确保结构完整性与训练性能，已在多种架构上验证，性能一致提升。

ABSTRACT

Overparameterized Neural Networks (NN) display state-of-the art performance. However, there is a growing need for smaller, energy-efficient, neural networks to be able to use machine learning applications on devices with limited computational resources. A popular approach consists of using pruning techniques. While these techniques have traditionally focused on pruning pre-trained NN (LeCun et al., 1990; Hassibi et al., 1993), recent work by Lee et al. (2018) has shown promising results when pruning at initialization. However, such procedures remain unsatisfactory as the resulting pruned networks can be difficult to train and, for instance, they do not prevent one layer being fully pruned. In this paper we provide a comprehensive theoretical analysis of pruning at initialization and training of sparse architectures. This allows us to propose novel principled approaches which we validate experimentally on a variety of NN architectures.

研究动机与目标

• 解决为资源受限设备构建能效高、参数量小的神经网络的挑战。
• 克服现有非结构化剪枝方法在初始化阶段的局限性，如完全剪枝某一层的问题。
• 开发基于理论的剪枝技术，确保网络结构与可训练性从初始化阶段即得到保持。
• 通过有原则的设计，确保剪枝后网络在多种架构上的鲁棒性与泛化能力。

提出的方法

• 对网络初始化阶段的剪枝进行全面的理论分析，重点关注结构特性和优化性质。
• 基于理论洞察提出新颖的剪枝准则，以指导初始化时的稀疏模式设计。
• 确保剪枝后的架构保持足够的连接性与梯度流动，以支持有效训练。
• 在多种神经网络架构（包括前馈网络与卷积网络）上实验验证所提方法。
• 利用理论分析防止极端情况发生，例如初始化后整层被剪枝。
• 建立剪枝网络保持可训练性与良好泛化能力的条件。

实验结果

研究问题

• RQ1 在何种理论条件下，初始化时具有稀疏连接的剪枝神经网络仍能保持可训练性？
• RQ2 如何设计初始化阶段的剪枝策略，以避免整层被剪枝或结构坍塌？
• RQ3 在初始化阶段选择剪枝权重时，应遵循何种原则以保持优化动力学特性？
• RQ4 理论保证如何转化为不同网络架构上的实证性能表现？
• RQ5 在初始化阶段剪枝得到的稀疏架构能否实现与完整训练的密集模型相当的性能？

主要发现

• 理论分析表明，当满足结构条件与梯度流动条件时，初始化阶段的剪枝可保持网络可训练性。
• 所提出的剪枝方法可有效防止整层被剪枝，这是以往方法中常见的失败模式。
• 通过该方法构建的稀疏架构在多种网络架构上均实现了具有竞争力的性能表现。
• 理论洞察支持设计出保持优化稳定性与泛化能力的剪枝策略。
• 实验验证表明，剪枝后的网络在多种架构上仍保持可训练性与有效性。