[论文解读] PatternNet: Visual Pattern Mining with Deep Neural Network

Hongzhi Li, Joseph G. Ellis+2 more|arXiv (Cornell University)|Mar 18, 2017

Advanced Image and Video Retrieval Techniques参考文献 27被引用 8

一句话总结

PatternNet 是一种深度学习框架，通过利用预训练卷积神经网络（CNN）最后一卷积层的滤波器激活，发现具有区分性和代表性的视觉模式。它将视觉模式挖掘问题建模为一个稀疏滤波器组合问题，采用全连接层和一种新型损失函数，在细粒度图像分类（CUB-200 上达到 70.0% 准确率）和仅使用每张图像 5 个边界框的对象提议任务中实现了最先进性能，优于需要数千个提议的方法。

ABSTRACT

Visual patterns represent the discernible regularity in the visual world. They capture the essential nature of visual objects or scenes. Understanding and modeling visual patterns is a fundamental problem in visual recognition that has wide ranging applications. In this paper, we study the problem of visual pattern mining and propose a novel deep neural network architecture called PatternNet for discovering these patterns that are both discriminative and representative. The proposed PatternNet leverages the filters in the last convolution layer of a convolutional neural network to find locally consistent visual patches, and by combining these filters we can effectively discover unique visual patterns. In addition, PatternNet can discover visual patterns efficiently without performing expensive image patch sampling, and this advantage provides an order of magnitude speedup compared to most other approaches. We evaluate the proposed PatternNet subjectively by showing randomly selected visual patterns which are discovered by our method and quantitatively by performing image classification with the identified visual patterns and comparing our performance with the current state-of-the-art. We also directly evaluate the quality of the discovered visual patterns by leveraging the identified patterns as proposed objects in an image and compare with other relevant methods. Our proposed network and procedure, PatterNet, is able to outperform competing methods for the tasks described.

研究动机与目标

• 为解决在不依赖人工标注的情况下，发现既具有代表性（在某一类别内频繁出现）又具有区分性（在不同类别间具有显著差异）的视觉模式的挑战。
• 开发一种方法，高效地从图像集合中挖掘视觉模式，利用现有的 CNN 特征，避免昂贵的图像块采样或边界框标注。
• 通过直接利用学习到的滤波器响应来识别有意义的视觉结构，从而提升图像分类和对象提议任务的性能。
• 证明基于滤波器的模式挖掘方法在性能上可与使用弱监督或全监督标注的最先进方法相媲美。

提出的方法

• PatternNet 使用预训练 CNN 最后一个卷积层的滤波器作为模式检测器，每个滤波器对应响应特定视觉模式。
• 引入一个全连接层，学习这些滤波器的稀疏线性组合，以识别对目标图像类别中最敏感的一组滤波器。
• 设计一种新型损失函数，以最大化正样本图像（目标类别）上的激活，同时最小化负样本图像（其他类别）上的激活，从而促进具有区分性的模式发现。
• 通过直接分析特征图，避免了对图像块进行穷举采样，从而在速度上相比传统基于图像块的方法实现数量级的提升。
• 该框架通过仅更新全连接层参数实现端到端训练，保留了 CNN 学习到的特征。
• PatternNet 通过识别特征图中高激活区域来生成对象提议，每张图像仅生成数十个高质量边界框。

实验结果

研究问题

• RQ1 能否有效组合预训练 CNN 中的滤波器响应，以发现既具有代表性又具有区分性的视觉模式？
• RQ2 能否在不进行昂贵的图像块采样或人工边界框标注的情况下，高效地执行视觉模式挖掘？
• RQ3 所发现的视觉模式在下游任务（如细粒度图像分类和对象提议）中的表现如何？
• RQ4 在不使用任何边界框标注的情况下，PatternNet 是否在分类和对象提议任务中优于最先进方法？

主要发现

• 在 CUB-200 细粒度图像分类基准上，PatternNet 达到 70.0% 的 top-1 准确率，优于所有不使用边界框标注的对比方法。
• 在 Pascal VOC 2007 对象提议任务中，PatternNet 在每张图像仅使用 5 个边界框的情况下，达到 0.86 的召回率和 0.77 的 MABO，显著优于提议约 100 个框的方法。
• 该方法通过避免穷举图像块采样，实现了显著的速度提升——速度提升达一个数量级，仅依赖于对特征图的直接分析。
• 主观评估确认，所发现的模式在视觉上具有意义且语义上一致，例如车轮、车门和动物身体部位等。
• 该框架成功识别出同一类别图像中的独特视觉模式，证实了其代表性和区分能力。
• PatternNet 在不使用任何人工标注边界框或额外训练数据的情况下实现了优异性能，适用于弱监督应用场景。