[论文解读] Multi-scale Orderless Pooling of Deep Convolutional Activation Features

Yunchao Gong, Liwei Wang+2 more|arXiv (Cornell University)|Mar 7, 2014

Advanced Image and Video Retrieval Techniques参考文献 32被引用 8

一句话总结

本文提出多尺度无序池化（MOP-CNN），通过从多尺度局部图像块中提取激活特征，在每个尺度上应用无序VLAD池化，并将结果拼接，从而增强深度CNN特征。该方法在SUN397和MIT Indoor Scenes数据集上达到最先进性能，在ILSVRC和Holidays数据集上取得具有竞争力的结果，且无需微调，通过提升几何不变性同时保持判别能力实现。

ABSTRACT

Deep convolutional neural networks (CNN) have shown their promise as a universal representation for recognition. However, global CNN activations lack geometric invariance, which limits their robustness for classification and matching of highly variable scenes. To improve the invariance of CNN activations without degrading their discriminative power, this paper presents a simple but effective scheme called multi-scale orderless pooling (MOP-CNN). This scheme extracts CNN activations for local patches at multiple scale levels, performs orderless VLAD pooling of these activations at each level separately, and concatenates the result. The resulting MOP-CNN representation can be used as a generic feature for either supervised or unsupervised recognition tasks, from image classification to instance-level retrieval; it consistently outperforms global CNN activations without requiring any joint training of prediction layers for a particular target dataset. In absolute terms, it achieves state-of-the-art results on the challenging SUN397 and MIT Indoor Scenes classification datasets, and competitive results on ILSVRC2012/2013 classification and INRIA Holidays retrieval datasets.

研究动机与目标

• 提升全局CNN激活的几何不变性，因其对平移、旋转和缩放敏感。
• 开发一种通用的、无需微调的特征表示方法，以提升在监督与无监督识别任务中的性能。
• 探究局部CNN特征的无序池化是否能在鲁棒性与判别性方面超越全局激活。
• 证明多尺度局部特征聚合可在无需任务特定微调的情况下，于具有挑战性的基准上实现最先进结果。

提出的方法

• 从多个尺度层级的局部图像块中提取深层CNN激活特征，包括完整图像（第1层）、128×128图像块（第2层）和64×64图像块（第3层）。
• 对更细尺度图像块的激活特征应用VLAD（局部聚合描述符向量）池化，生成无序且不变的表示。
• 将全局CNN激活（4096D）与来自更细尺度的VLAD编码特征拼接，形成最终的MOP-CNN描述符。
• 使用PCA和白化对最终描述符进行压缩，以实现高效检索，同时保持高性能。
• 在训练集的VLAD特征上训练100个视觉词的词袋，以支持有效的VLAD编码。
• 在所有数据集中使用相同的超参数（图像块大小、词袋大小、PCA维度），以确保泛化能力。

实验结果

研究问题

• RQ1 对局部CNN特征进行无序池化是否能提升对平移、旋转和缩放等几何变换的不变性？
• RQ2 多尺度局部特征聚合是否在图像分类与检索任务中优于全局CNN激活？
• RQ3 一种通用的、无需微调的特征表示是否能在多样化基准上实现最先进性能？
• RQ4 MOP-CNN在检索任务中的性能与FV或VLAD等现有紧凑描述符相比如何？

主要发现

• 在INRIA Holidays检索数据集上，MOP-CNN达到78.82%的mAP，优于全局CNN激活，且与最先进方法相当。
• 经PCA与白化处理后，MOP-CNN将描述符压缩至2048维，同时在Holidays数据集上实现80.18%的mAP，展现出高效与高性能的结合。
• 在SUN397数据集上，MOP-CNN实现78.42%的top-1准确率，无需任何微调即创下新最先进结果。
• 在MIT Indoor Scenes数据集上，MOP-CNN使用最大池化变体实现76.23%的准确率，显著优于全局CNN特征。
• 第1层（全局）与第3层（64×64图像块）的组合在Holidays数据集上实现78.92%的mAP，表明细粒度局部特征的重要性。
• 实证分析证实，全局CNN激活对几何形变敏感，而MOP-CNN则表现出显著更高的鲁棒性。