[论文解读] PareCO: Pareto-aware Channel Optimization for Slimmable Neural Networks

R Chin, Ari S. Morcos+1 more|arXiv (Cornell University)|May 4, 2021

Advanced Neural Network Applications参考文献 58被引用 8

一句话总结

该论文提出 PareCO，一种针对可剪枝神经网络的帕累托感知通道优化方法，通过联合学习各层的异质宽度乘数和共享权重，在 FLOPs 和内存约束下提升准确率。在 MobileNetV2 上，该方法在 FLOPs 目标下实现最高 1.7% 的 top-1 准确率提升，在内存目标下实现最高 8% 的提升。

ABSTRACT

Slimmable neural networks provide a flexible trade-off front between prediction error and computational cost (such as the number of floating-point operations or FLOPs) with the same storage cost as a single model. They have been proposed recently for resource-constrained settings such as mobile devices. However, current slimmable neural networks use a single width-multiplier for all the layers to arrive at sub-networks with different performance profiles, which neglects that different layers affect the network's prediction accuracy differently and have different FLOP requirements. Hence, developing a principled approach for deciding width-multipliers across different layers could potentially improve the performance of slimmable networks. To allow for heterogeneous width-multipliers across different layers, we formulate the problem of optimizing slimmable networks from a multi-objective optimization lens, which leads to a novel algorithm for optimizing both the shared weights and the width-multipliers for the sub-networks. We perform extensive empirical analysis with 15 network and dataset combinations and two types of cost objectives, i.e., FLOPs and memory footprint, to demonstrate the effectiveness of the proposed method compared to existing alternatives. Quantitatively, improvements up to 1.7% and 8% in top-1 accuracy on the ImageNet dataset can be attained for MobileNetV2 considering FLOPs and memory footprint, respectively. Our results highlight the potential of optimizing the channel counts for different layers jointly with the weights for slimmable networks.

研究动机与目标

• 为解决现有可剪枝网络中各层采用统一宽度乘数的局限性，该方法未能考虑各层对准确率和计算成本的特定影响。
• 开发一种系统性的多目标优化框架，联合优化共享权重和各层特定的宽度乘数。
• 通过实现各层间异质的通道缩放，提升可剪枝网络的性能，从而在准确率与计算成本之间实现更优的权衡。
• 在两种成本目标（FLOPs 和内存占用）下，对多种架构和数据集进行方法评估。

提出的方法

• 将可剪枝网络优化建模为多目标问题，平衡预测准确率与计算成本（FLOPs 或内存占用）。
• 提出一种帕累托感知的优化策略，联合学习共享网络权重和各层特定的宽度乘数。
• 采用可微分的基于梯度的方法，对各层的宽度乘数进行优化，实现基于各层重要性和成本敏感度的异质缩放。
• 采用双层优化框架，外层优化宽度乘数，内层在当前乘数配置下训练共享权重。
• 通过加权目标和近似帕累托前沿，支持端到端的梯度下降训练。
• 采用基于梯度的搜索策略，识别能改善准确率-计算权衡的最优宽度乘数配置。

实验结果

研究问题

• RQ1 与统一缩放相比，各层采用异质宽度乘数是否能提升可剪枝神经网络的性能？
• RQ2 联合优化权重和宽度乘数如何影响可剪枝网络在准确率-FLOPs 和准确率-内存之间的权衡？
• RQ3 帕累托感知优化在不同计算成本约束下对 top-1 准确率的影响如何？
• RQ4 所提方法在多种网络架构和数据集上的泛化能力如何？

主要发现

• 在使用 MobileNetV2 且受限于 FLOPs 的情况下，PareCO 相较于基线可剪枝网络在 ImageNet 上实现最高 1.7% 的 top-1 准确率提升。
• 当内存占用为成本目标时，PareCO 在使用 MobileNetV2 的 ImageNet 上实现最高 8% 的 top-1 准确率提升。
• 该方法在 15 种不同的网络与数据集组合中均表现出一致的性能增益，显示出强大的泛化能力。
• 实证结果证实，异质宽度乘数相比统一缩放能带来更优的权衡，尤其在内存受限环境下更为显著。
• 联合优化权重和宽度乘数显著改善了帕累托前沿，使在相同计算成本下实现更高的准确率成为可能。
• 消融实验验证了所提出的多目标公式能有效平衡不同配置下的准确率与效率。