[论文解读] Object Level Deep Feature Pooling for Compact Image Representation

Konda Reddy Mopuri, R. Venkatesh Babu|NOT FOUND REPOSITORY (Indian Institute of Science Bangalore)|Apr 24, 2015

Advanced Image and Video Retrieval Techniques参考文献 34被引用 12

一句话总结

本文提出了一种名为基于目标的深度特征池化（OLDFP）的紧凑图像表征方法，通过从目标提议中池化深度特征而非全局图像特征，来提升基于CNN的图像检索性能。该方法利用目标存在先验知识，并聚合排名靠前的区域特征，实现了显著降低内存占用的SOTA检索性能——在二进制形式下每张图像仅需2KB内存，同时对平移、旋转和缩放等几何变换保持鲁棒性。

ABSTRACT

Convolutional Neural Network (CNN) features have been successfully employed in recent works as an image descriptor for various vision tasks. But the inability of the deep CNN features to exhibit invariance to geometric transformations and object compositions poses a great challenge for image search. In this work, we demonstrate the effectiveness of the objectness prior over the deep CNN features of image regions for obtaining an invariant image representation. The proposed approach represents the image as a vector of pooled CNN features describing the underlying objects. This representation provides robustness to spatial layout of the objects in the scene and achieves invariance to general geometric transformations, such as translation, rotation and scaling. The proposed approach also leads to a compact representation of the scene, making each image occupy a smaller memory footprint. Experiments show that the proposed representation achieves state of the art retrieval results on a set of challenging benchmark image datasets, while maintaining a compact representation.

研究动机与目标

• 解决标准CNN特征在平移、旋转和缩放等几何变换下缺乏不变性的问题。
• 降低大规模图像数据库中基于内容的图像检索的深度图像表征内存占用。
• 通过利用目标存在先验知识，聚焦于语义上有意义的图像区域，而非全局或局部块特征，从而提升检索性能。
• 通过仅使用每张图像100–500个高分目标提议，实现高效计算，降低计算成本。
• 证明在小规模、特定数据集的微调可显著提升表征质量，而无需重新训练整个网络。

提出的方法

• 使用选择性搜索从输入图像中提取目标提议，并根据目标存在分数进行排序，优先选择显著区域。
• 利用网络的卷积和池化层，从每个目标提议中提取深度CNN特征（来自预训练的AlexNet）。
• 通过平均池化方式聚合来自前N个目标提议的深度特征，形成固定长度、与顺序无关的图像表征。
• 应用迭代量化（ITQ）将池化后的特征向量压缩为二进制码，同时最小化检索准确率的损失。
• 在目标检索数据库的小型、类别平衡数据集上对预训练的AlexNet进行微调，以适应特定数据分布。
• 将最终的全连接层（fc8）调整为与目标数据集类别数一致，并对早期层使用低学习率，以保留可迁移特征。

实验结果

研究问题

• RQ1 基于目标的深度特征池化是否能提升图像检索中对平移、旋转和缩放等几何变换的不变性？
• RQ2 使用目标提议而非全局或局部块特征，是否能生成更紧凑且更具判别力的图像表征？
• RQ3 在保持检索性能的前提下，该表征最多可压缩到何种程度的二进制码？
• RQ4 每张图像需要多少个目标提议才能在不造成过度计算负担的情况下实现具有竞争力的检索准确率？
• RQ5 在目标数据集的小部分子集上进行最小量微调，是否能显著提升检索性能？

主要发现

• 所提出的OLDFP表征在多个基准数据集上实现了SOTA的mAP表现，包括在Oxford5K上达到3.84 mAP，在Paris6K上也达到3.84 mAP（使用2048维特征）。
• 仅使用每张图像100个目标提议，该方法即实现了具有竞争力的mAP分数，证明了其计算效率和可扩展性。
• 通过ITQ实现的二进制编码将内存占用降低至每张图像仅2KB，同时保持与全精度表征相当的检索性能。
• 在每类10万个图像块的小型、平衡数据集上对网络进行微调，显著提升了所有数据集上的检索准确率，包括在Oxford5K上实现了0.31 mAP的提升。
• 该方法在紧凑表征场景下（如128–512维）优于现有方法，如VLAD、Fisher Vector和Neural Codes。
• 由于基于目标的特征池化具有与顺序无关的特性，该方法对空间布局变化具有鲁棒性，天然抑制了空间敏感性。