[论文解读] SplitNet: Divide and Co-training.

Shuai Zhao, Liguang Zhou+4 more|arXiv (Cornell University)|Nov 30, 2020

Advanced Neural Network Applications参考文献 41被引用 5

一句话总结

SplitNet 提出将单个大型神经网络拆分为多个更小、更窄的网络，这些网络在相同数据的不同视图上协同训练，从而学习互补知识，并在不增加参数量或 FLOPs 的情况下实现优于原始大型网络的性能。这表明，增加网络数量是模型扩展的一个新有效维度，超越了深度、宽度或分辨率。

ABSTRACT

The width of a neural network matters since increasing the width will necessarily increase the model capacity. However, the performance of a network does not improve linearly with the width and soon gets saturated. To tackle this problem, we propose to increase the number of networks rather than purely scaling up the width. To prove it, one large network is divided into several small ones, and each of these small networks has a fraction of the original one's parameters. We then train these small networks together and make them see various views of the same data to learn different and complementary knowledge. During this co-training process, networks can also learn from each other. As a result, small networks can achieve better ensemble performance than the large one with few or no extra parameters or FLOPs. \emph{This reveals that the number of networks is a new dimension of effective model scaling, besides depth/width/resolution}. Small networks can also achieve faster inference speed than the large one by concurrent running on different devices. We validate the idea -- increasing the number of networks is a new dimension of effective model scaling -- with different network architectures on common benchmarks through extensive experiments. The code is available at \url{this https URL}.

研究动机与目标

• 解决在扩大神经网络宽度时性能增益递减的问题，尽管模型容量增加，但性能仍趋于饱和。
• 探索增加更小网络的数量，而非扩大宽度，是否能带来更好的模型性能。
• 研究在不同数据视图上对多个窄网络进行协同训练，是否能使其学习互补知识并提升泛化能力。
• 验证网络数量是否为一种新的有效模型扩展维度，与深度、宽度和分辨率具有可比性。
• 通过在不同设备上并行执行多个小型网络，实现更快的推理速度。

提出的方法

• 将单个大型神经网络拆分为多个更小、更窄的网络，每个网络的参数量仅为原始模型的一小部分。
• 采用协同训练设置训练这些小型网络，每个网络处理同一输入数据的不同增强视图。
• 在训练过程中启用知识蒸馏和相互学习，使网络能够共同提升性能。
• 使用数据增强技术生成同一样本的多样化视图，确保每个网络学习数据分布的不同方面。
• 在推理阶段将所有小型网络的预测结果进行融合，形成一个性能更优的集成模型。
• 保持与原始大型网络相同的总 FLOPs 和参数量，确保无额外计算开销。

实验结果

研究问题

• RQ1 将大型网络拆分为多个小型网络，并在不同数据视图上协同训练，是否能实现优于使用相同容量的单一宽网络的性能？
• RQ2 网络数量是否可作为独立于深度、宽度或分辨率的新型有效模型扩展维度？
• RQ3 小型网络之间的协同训练是否能使其学习互补表征并提升泛化能力？
• RQ4 当在不同设备上并行运行时，小型网络的集成是否能实现比单一大型网络更快的推理速度？
• RQ5 所提出的方法是否在保持 FLOPs 和参数量不变的情况下，维持或提升准确率？

主要发现

• SplitNet 在常见基准测试中实现了优于原始大型网络的性能，尽管参数量和 FLOPs 与原始网络完全相同。
• 小型网络的集成模型优于单一大型网络，证明通过增加网络数量可有效提升模型容量。
• 通过多视图协同训练，小型网络能够学习互补知识，提升泛化能力和鲁棒性。
• 由于在不同设备上并行执行多个小型网络，推理速度优于大型网络。
• 该方法在多种网络架构和基准测试中均表现有效，验证了其作为新型扩展范式的通用性。
• 性能提升未增加计算成本，证实网络数量是一个可行且有效的扩展维度。