[论文解读] Unsupervised Discovery of Mid-Level Discriminative Patches

Saurabh Singh, Abhinav Gupta+1 more|arXiv (Cornell University)|May 14, 2012

Advanced Image and Video Retrieval Techniques参考文献 34被引用 73

一句话总结

该论文提出了一种无监督方法，通过迭代聚类图像块并使用交叉验证训练线性SVM，以发现中层判别性图像块——即具有代表性、频繁出现且高度独特的视觉单元。该方法在MIT Indoor-67场景分类数据集上取得了最先进性能，优于视觉词袋、空间金字塔及其他领先方法，通过学习更具判别性和语义意义的特征，且无需任何人工标注的标签。

ABSTRACT

The goal of this paper is to discover a set of discriminative patches which can serve as a fully unsupervised mid-level visual representation. The desired patches need to satisfy two requirements: 1) to be representative, they need to occur frequently enough in the visual world; 2) to be discriminative, they need to be different enough from the rest of the visual world. The patches could correspond to parts, objects, "visual phrases", etc. but are not restricted to be any one of them. We pose this as an unsupervised discriminative clustering problem on a huge dataset of image patches. We use an iterative procedure which alternates between clustering and training discriminative classifiers, while applying careful cross-validation at each step to prevent overfitting. The paper experimentally demonstrates the effectiveness of discriminative patches as an unsupervised mid-level visual representation, suggesting that it could be used in place of visual words for many tasks. Furthermore, discriminative patches can also be used in a supervised regime, such as scene classification, where they demonstrate state-of-the-art performance on the MIT Indoor-67 dataset.

研究动机与目标

• 开发一种完全无监督的方法，以发现既具代表性又具判别性的中层视觉特征。
• 解决传统视觉词袋的局限性，后者常捕捉低层次纹理或边缘，而非有意义的视觉概念。
• 构建一种中层表征，其泛化能力优于低层特征，并避免高层语义检测器所需的标注负担。
• 证明这些判别性图像块可作为监督任务（如场景分类）中更优的视觉词袋。

提出的方法

• 该方法将判别性图像块的发现建模为大规模图像块数据集上的无监督判别聚类问题。
• 采用一种迭代算法，交替进行图像块聚类和训练线性SVM以区分每个聚类与其他视觉内容。
• 在每次迭代中应用交叉验证，以防止过拟合并确保对新图像的泛化能力。
• 使用HOG描述符提取特征，通过学习到的SVM分类器检测图像块。
• 通过将图像块响应聚合到空间金字塔中构建最终表征，用于分类。
• 该方法在无监督和监督设置下均进行了评估，图像块发现可基于全局或按类别使用图像标签进行。

实验结果

研究问题

• RQ1 是否可以在完全无监督的方式下发现中层视觉特征，同时保持高判别性和覆盖度？
• RQ2 与传统视觉词袋相比，判别性图像块在视觉纯净度和场景分类性能方面表现如何？
• RQ3 相同的无监督发现过程是否可适应于监督范式，以提升分类准确率？
• RQ4 所发现的图像块是否能捕捉到如拱门、长椅或桌子等直观且语义有意义的视觉模式？

主要发现

• 该方法在MIT Indoor-67数据集上通过无监督发现实现了0.66的平均精度，显著优于标准视觉词袋（0.54 AP）。
• 当与空间金字塔和GIST特征结合时，该方法达到了49.4%的准确率，为MIT Indoor-67数据集当前最先进水平。
• 人工评估显示，前30个聚类中有73%在视觉上具有纯净性，表明这些图像块捕捉到了一致且有意义的视觉概念。
• 与非交叉验证训练相比，通过交叉验证进行的迭代训练使聚类纯净度提高了12%，证明了正则化的重要性。
• 该方法在相同基准上优于多个成熟基线模型，如空间金字塔HOG（34.4%）、ObjectBank（37.6%）和场景可变形部件模型（30.4%）。
• 对顶级图像块的可视化显示，其捕捉到了显著且与场景相关的模式，如教堂拱门、会议室桌和商店柜台，证实了其直观可解释性。