[论文解读] OnionNet: Sharing Features in Cascaded Deep Classifiers

Martin Simonovsky, Nikos Komodakis|arXiv (Cornell University)|Aug 9, 2016

Advanced Neural Network Applications参考文献 24被引用 2

一句话总结

OnionNet 提出了一种级联深度学习架构，通过在各阶段间共享中间特征图来加速检索任务中的推理过程。通过允许后续阶段在扩展早期特征的深度和宽度的同时重用已计算的表示，该方法在仅造成微小精度损失的情况下，显著提升了单体结构和非共享级联结构的推理速度。

ABSTRACT

The focus of our work is speeding up evaluation of deep neural networks in retrieval scenarios, where conventional architectures may spend too much time on negative examples. We propose to replace a monolithic network with our novel cascade of feature-sharing deep classifiers, called OnionNet, where subsequent stages may add both new layers as well as new feature channels to the previous ones. Importantly, intermediate feature maps are shared among classifiers, preventing them from the necessity of being recomputed. To accomplish this, the model is trained end-to-end in a principled way under a joint loss. We validate our approach in theory and on a synthetic benchmark. As a result demonstrated in three applications (patch matching, object detection, and image retrieval), our cascade can operate significantly faster than both monolithic networks and traditional cascades without sharing at the cost of marginal decrease in precision.

研究动机与目标

• 解决在检索场景中评估深度神经网络在负样本上的高计算成本问题。
• 通过在级联阶段间重用中间特征图而非重新计算，减少推理时间。
• 实现灵活的架构设计，使后续阶段能够为早期特征增加新的卷积层和新的特征通道。
• 在联合损失函数下端到端训练整个级联结构，以确保最优的特征共享和性能表现。
• 证明特征共享的级联结构在速度上优于单体网络和非共享级联结构，且精度损失微乎其微。

提出的方法

• 设计一种级联架构，其中每个阶段扩展前一阶段的特征图集合，从而实现中间表示的重用。
• 允许后续阶段在早期特征上增加新的卷积层和额外的特征通道，实现深度和宽度的扩展。
• 在各阶段之间共享中间特征图，以避免冗余计算，尤其针对计算成本较高的早期层。
• 使用联合损失函数对整个模型进行端到端训练，以联合优化所有阶段并保持表示一致性。
• 使用合成基准分析时间复杂度，并在正样本比例变化时验证理论行为。
• 在真实任务上进行评估：图像块匹配、目标检测和图像检索，以证明实际的加速效果。

实验结果

研究问题

• RQ1 在级联深度分类器之间共享特征是否能显著降低推理时间，同时不牺牲精度？
• RQ2 在正样本与负样本比例不同的情况下，OnionNet 的计算成本与单体网络和非共享级联结构相比如何？
• RQ3 在后续阶段增加层和通道的架构灵活性在多大程度上能提升效率和性能？
• RQ4 模型参数减少和特征重用对速度与精度权衡的影响如何？
• RQ5 实际 GPU 执行开销在真实部署中如何影响理论预测的加速效果？

主要发现

• OnionNet 在图像块匹配、目标检测和图像检索任务中，相较于单体网络和非共享级联结构，实现了显著的加速，且精度下降微乎其微。
• 理论分析表明，OnionNet 在所有正样本比例（p）下均持续降低时间成本，当第一阶段较宽时（例如 RW3 相较于 RW1）收益最大。
• 实测运行时间证实了理论趋势，但 GPU 内核启动开销和非线性的 GPU 性能特性会降低小型或弱第一阶段网络的加速效果。
• 非共享级联结构仅在正样本比例较低（p）时优于单体模型，而 OnionNet 因特征重用和参数减少，在所有 p 值下均保持优势。
• 当第一阶段网络相对较宽时，该方法效果最佳，因其能从共享计算和冗余减少中获益最多。
• 两阶段级联结构实用且高效，但超过两阶段的结构因增加的开销和收益递减而变得不切实际。