[论文解读] Pruning Convolutional Neural Networks for Image Instance Retrieval

Gaurav Manek, Jie Lin+5 more|arXiv (Cornell University)|Jul 18, 2017

Advanced Image and Video Retrieval Techniques参考文献 20被引用 3

一句话总结

该论文提出了一种基于启发式剪枝的框架，并结合三元组损失微调，以压缩用于图像实例检索的卷积神经网络。通过使用数据无关和数据相关的标准剪枝卷积边，随后在检索特定损失上进行端到端微调，该方法实现了高达5倍的模型压缩，同时性能损失最小。

ABSTRACT

In this work, we focus on the problem of image instance retrieval with deep descriptors extracted from pruned Convolutional Neural Networks (CNN). The objective is to heavily prune convolutional edges while maintaining retrieval performance. To this end, we introduce both data-independent and data-dependent heuristics to prune convolutional edges, and evaluate their performance across various compression rates with different deep descriptors over several benchmark datasets. Further, we present an end-to-end framework to fine-tune the pruned network, with a triplet loss function specially designed for the retrieval task. We show that the combination of heuristic pruning and fine-tuning offers 5x compression rate without considerable loss in retrieval performance.

研究动机与目标

• 解决在不牺牲检索精度的前提下减小用于图像实例检索的CNN模型尺寸的挑战。
• 研究针对卷积层的启发式剪枝策略的有效性，这些层比全连接层更难压缩。
• 开发并评估一种端到端框架，结合剪枝与检索特定的微调，以在压缩后恢复性能。
• 评估不同剪枝启发式方法和压缩率在多个基准数据集和深度描述符类型上的影响。
• 确定在移动和嵌入式系统中实际部署时，模型压缩与检索性能之间的最优权衡。

提出的方法

• 应用数据无关的启发式方法——如权重大小 |wᵢⱼ|、梯度加权显著性（dℒ/dwᵢⱼ × wᵢⱼ）、平均激活 × 权重，以及激活方差 × 权重平方——为卷积边分配重要性评分。
• 使用基于损失变化泰勒展开的数据相关启发式方法，识别可被移除的不关键边。
• 实施使用专为图像实例检索设计的三元组损失函数的端到端微调流程，以在剪枝后恢复性能。
• 仅对卷积层应用剪枝，以保留特征层次结构，并集中于高层中的冗余性。
• 使用SQP（球面量化池化）从剪枝后的特征生成深度描述符以供评估。
• 在不同压缩率（原始大小的10%、20%、50%）下，于多个数据集（Oxford5k、Paris6k、Holidays、UKbench）上评估性能。

实验结果

研究问题

• RQ1 在应用于图像实例检索任务时，卷积层的启发式剪枝能否维持高检索性能？
• RQ2 在不同压缩率下，不同剪枝启发式方法（如权重大小、基于梯度、基于激活）在性能保持方面的表现如何比较？
• RQ3 使用三元组损失函数进行微调，在对卷积层进行激进剪枝后，能在多大程度上恢复性能？
• RQ4 在性能显著下降之前，压缩的实际极限（即最小模型尺寸）是什么？
• RQ5 按层剪枝的模式是否随网络深度变化，且是否与冗余分布相关？

主要发现

• 使用权重大小（|wᵢⱼ|）的启发式剪枝在所有基准数据集上实现了高达2倍的压缩，且性能损失最小。
• 将启发式剪枝与使用三元组损失函数的端到端微调相结合，可实现高达5倍的压缩，同时保持高检索精度，50%剪枝后在Oxford5k和Paris6k上的平均精度（mAP）达到约80%。
• 微调显著提升了Oxford5k和Paris6k上的性能，但在UKbench数据集上召回率@4略有下降，可能由于训练数据与测试数据之间的领域偏移。
• 当网络剪枝至原始大小的10%时，性能出现不连续性，表明进一步剪枝超过20%可能已超过模型的冗余阈值。
• 按层剪枝分析显示，低层即使在10%网络尺寸下仍保留约95%的边，而高层则最多损失92%的边，证实深层中冗余性更高。
• 20–10%的范围代表性能的临界点，进一步压缩会导致性能不成比例地急剧下降，表明这是有效剪枝的实际下限。