[论文解读] Multi-Task Pruning for Semantic Segmentation Networks

Xinghao Chen, Yunhe Wang+4 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Neural Network Applications参考文献 43被引用 8

一句话总结

本文提出了一种用于语义分割网络的多任务通道剪枝方法，通过联合评估分类和分割任务中的滤波器重要性，实现高效的模型压缩。在PASCAL VOC 2012上，DeepLabv3的FLOPs减少约2倍，mIoU仅下降1%；在Cityscapes上，mIoU仅下降1.3%。

ABSTRACT

This paper focuses on channel pruning for semantic segmentation networks. There are a large number of works to compress and accelerate deep neural networks in the classification task (e.g., ResNet-50 on ImageNet), but they cannot be straightforwardly applied to the semantic segmentation network that involves an implicit multi-task learning problem. To boost the segmentation performance, the backbone of semantic segmentation network is often pre-trained on a large scale classification dataset (e.g., ImageNet), and then optimized on the desired segmentation dataset. Hence to identify the redundancy in segmentation networks, we present a multi-task channel pruning approach. The importance of each convolution filter w.r.t the channel of an arbitrary layer will be simultaneously determined by the classification and segmentation tasks. In addition, we develop an alternative scheme for optimizing importance scores of filters in the entire network. Experimental results on several benchmarks illustrate the superiority of the proposed algorithm over the state-of-the-art pruning methods. Notably, we can obtain an about $2 imes$ FLOPs reduction on DeepLabv3 with only an about $1\%$ mIoU drop on the PASCAL VOC 2012 dataset and an about $1.3\%$ mIoU drop on Cityscapes dataset, respectively.

研究动机与目标

• 为解决语义分割网络的压缩挑战，这类网络涉及隐式的多任务学习，与标准分类网络不同。
• 通过同时考虑分类和分割任务性能，识别分割模型中的冗余通道。
• 开发一种剪枝策略，在显著降低计算成本的同时保持高分割精度。
• 通过在滤波器重要性估计过程中引入多任务学习信号，改进现有剪枝方法。

提出的方法

• 该方法联合使用来自分类头（在ImageNet上预训练）和分割头（在分割数据集上微调）的梯度，计算滤波器重要性得分。
• 通过结合分类和分割目标的多任务损失函数，评估每个通道在不同任务中的贡献。
• 通过基于梯度的显著性度量滤波器重要性，并将两个任务的得分聚合，以确定冗余性。
• 引入一种替代优化方案，迭代地优化网络中所有层的重要性得分。
• 基于全局阈值策略剪除重要性得分较低的通道，以保持性能。

实验结果

研究问题

• RQ1 能否通过联合利用分类与分割任务的重要性估计，提升语义分割网络中的通道剪枝效果？
• RQ2 与单任务或启发式剪枝方法相比，多任务剪枝在精度和FLOPs减少方面表现如何？
• RQ3 应用多任务剪枝时，模型压缩与分割精度之间的权衡关系如何？
• RQ4 所提出的方法能否在不造成显著性能下降的情况下实现显著的FLOPs减少？

主要发现

• 所提方法在DeepLabv3上实现了约2倍的FLOPs减少，同时保持了较高的分割精度。
• 在PASCAL VOC 2012数据集上，剪枝后mIoU仅下降1%。
• 在Cityscapes数据集上，剪枝后mIoU仅下降1.3%，表现出良好的泛化能力。
• 与最先进剪枝方法相比，该多任务剪枝方法在压缩效率和精度保持方面均表现更优。