[论文解读] PHEW: Constructing Sparse Networks that Learn Fast and Generalize Well without Training Data

Shreyas Malakarjun Patil, Constantine Dovrolis|arXiv (Cornell University)|Oct 22, 2020

Machine Learning and ELM被引用 4

一句话总结

该论文提出 PHEW，一种无需训练数据的、数据无关的方法，通过基于初始权重的有偏随机游走选择输入-输出路径，实现稀疏神经网络的快速收敛与强泛化能力。PHEW 在多种架构和数据集上达到最先进性能，无需训练数据，其表现优于 SynFlow-L2 及其他初始化时剪枝方法，通过保持更宽的层结构同时维持较高的路径核迹，从而实现更优性能。

ABSTRACT

Methods that sparsify a network at initialization are important in practice because they greatly improve the efficiency of both learning and inference. Our work is based on a recently proposed decomposition of the Neural Tangent Kernel (NTK) that has decoupled the dynamics of the training process into a data-dependent component and an architecture-dependent kernel - the latter referred to as Path Kernel. That work has shown how to design sparse neural networks for faster convergence, without any training data, using the Synflow-L2 algorithm. We first show that even though Synflow-L2 is optimal in terms of convergence, for a given network density, it results in sub-networks with "bottleneck" (narrow) layers - leading to poor performance as compared to other data-agnostic methods that use the same number of parameters. Then we propose a new method to construct sparse networks, without any training data, referred to as Paths with Higher-Edge Weights (PHEW). PHEW is a probabilistic network formation method based on biased random walks that only depends on the initial weights. It has similar path kernel properties as Synflow-L2 but it generates much wider layers, resulting in better generalization and performance. PHEW achieves significant improvements over the data-independent SynFlow and SynFlow-L2 methods at a wide range of network densities.

研究动机与目标

• 解决数据无关剪枝方法在实现高速收敛的同时，因产生狭窄瓶颈层而导致泛化能力差的问题。
• 开发一种方法，在实现快速训练的同时最大化路径核迹，同时保持宽而分布良好的层宽以提升泛化能力。
• 实现在无需任何训练数据的条件下构建稀疏网络，仅依赖初始网络权重与概率性路径选择。
• 在避免层坍缩与次优架构结构的同时，超越 SynFlow-L2，且保持收敛速度。
• 验证基于路径的稀疏化结合权重有偏随机游走，可在多种架构与权重初始化下实现更优性能。

提出的方法

• PHEW 通过基于初始权重大小选择输入-输出路径来构建稀疏网络，避免对单个连接或神经元进行剪枝。
• 采用有偏随机游走，使每层更倾向于选择权重较大的边，从而确保高路径核迹以实现快速收敛。
• 通过保留完整路径而非单个神经元或边来维持每层的宽度，防止出现瓶颈层。
• 稀疏化仅在未训练、已初始化的网络上进行，仅使用初始权重值，不涉及梯度计算或数据访问。
• 该算法为概率性：在每层中，路径的下一个跳点按传入权重大小的成比例概率选择。
• PHEW 在 VGG19 和 ResNet20 上对不同权重初始化方案（Kaiming、Xavier、Normal）均表现出鲁棒性，实证结果表明其有效性。

实验结果

研究问题

• RQ1 能否通过避免瓶颈层，使一种数据无关的剪枝方法在收敛速度与泛化能力上均优于 SynFlow-L2？
• RQ2 通过有偏随机游走基于初始权重选择路径，是否能获得更高的路径核迹与更优性能，相比均匀或反向权重随机游走？
• RQ3 当使用相同架构但不同权重初始化时，PHEW 的性能与随机剪枝及重新初始化的稀疏网络相比如何？
• RQ4 PHEW 生成的稀疏架构是否可与初始权重解耦，使得重新初始化权重后性能不会下降？
• RQ5 是否可能在不使用任何训练数据的前提下，构建具有高路径核迹与宽层结构的稀疏网络？

主要发现

• PHEW 在 CIFAR-10、CIFAR-100、VGG19 与 ResNet20 等不同网络密度下，显著优于 SynFlow-L2 及其他数据无关剪枝方法。
• PHEW 维持了较高的每层宽度，避免了 SynFlow-L2 中常见的瓶颈层，从而在路径核迹相近的情况下实现更优的泛化能力。
• PHEW 的路径核迹接近 SynFlow-L2，表明收敛速度相当，但泛化性能显著更优。
• PHEW 在不同权重初始化方法（Kaiming、Xavier、Normal）下表现稳健，表明其对初始化分布不敏感。
• 重新初始化权重后的 PHEW 网络（架构相同但权重重置）性能与原始 PHEW 相当，证实架构是性能的关键因素，而非初始权重。
• PHEW 优于无偏与反向权重有偏随机游走变体，后两者路径核迹更低且初始收敛更慢。