[论文解读] Part-based Weighting Aggregation of Deep Convolutional Features for Image

Jian Xu, Cunzhao Shi+3 more|arXiv (Cornell University)|May 3, 2017

Advanced Image and Video Retrieval Techniques被引用 2

一句话总结

本文提出了一种基于部件的加权聚合（PWA）方法用于图像检索，该方法利用深度卷积层中的判别性滤波器作为部件检测器。通过无监督选择关键部件检测器以生成概率提议，PWA 通过加权聚合区域特征来增强全局特征表示，在四个标准数据集上实现了最先进性能，且无需监督。

ABSTRACT

In this paper, we propose a simple but effective semantic part-based weighting aggregation (PWA) for image retrieval. The proposed PWA utilizes the discriminative filters of deep convolutional layers as part detectors. Moreover, we propose the effective unsupervised strategy to select some part detectors to generate the probabilistic proposals, which highlight certain discriminative parts of objects and suppress the noise of background. The final global PWA representation could then be acquired by aggregating the regional representations weighted by the selected probabilistic proposals corresponding to various semantic content. We conduct comprehensive experiments on four standard datasets and show that our unsupervised PWA outperforms the state-of-the-art unsupervised and supervised aggregation methods. Code is available at this https URL.

研究动机与目标

• 通过利用深度卷积特征中的语义部件来提升图像检索性能。
• 开发一种无监督策略，以选择突出物体部件并抑制背景噪声的判别性部件检测器。
• 设计一种基于语义部件概率提议的全局特征聚合方法，对区域特征进行加权。
• 在标准图像检索基准上实现最先进结果，且无需依赖监督标注。

提出的方法

• 利用深度卷积层中的判别性滤波器作为部件检测器，以定位图像中的语义部件。
• 采用无监督策略选择一组能为显著物体区域生成概率提议的部件检测器。
• 通过使用所选概率提议对区域特定特征进行加权，生成全局图像表示。
• 采用加权机制，在聚合过程中突出判别性部件并抑制噪声或背景区域。
• 利用多个卷积层的特征图，以捕捉分层语义部件，从而改善表示。

实验结果

研究问题

• RQ1 无监督选择部件检测器是否能提升用于检索的全局图像表示？
• RQ2 基于部件的加权聚合方法与现有无监督及有监督聚合方法相比如何？
• RQ3 所提出的 PWA 方法在多样化数据集上对检索性能的提升程度如何？
• RQ4 来自深度网络的判别性滤波器是否能在无监督条件下有效充当部件检测器？

主要发现

• 所提出的无监督 PWA 方法在四个标准图像检索数据集上实现了最先进性能。
• 该方法在检索准确率方面优于现有的无监督与有监督聚合技术。
• 通过所选部件检测器生成的概率提议能有效突出判别性物体部件，同时抑制背景噪声。
• 该方法在无需部件级标注监督的情况下，展现出在多样化图像数据集上的强泛化能力。