[论文解读] Unsupervised learning of object semantic parts from internal states of CNNs by population encoding

Jianyu Wang, Zhishuai Zhang+3 more|arXiv (Cornell University)|Nov 21, 2015

Advanced Neural Network Applications参考文献 30被引用 38

一句话总结

本文提出一种无监督方法，通过聚类CNN滤波器的群体激活来发现物体语义部件，引入了代表语义和视觉上一致的物体部件的‘视觉概念’。该方法识别出密集且空间覆盖的部件检测器，其性能优于单个滤波器，并揭示多个视觉概念通常对应于视觉上相似的语义部件，在PASCAL3D+和一个新的密集标注ImageNetPart数据集上得到验证。

ABSTRACT

We address the key question of how object part representations can be found from the internal states of CNNs that are trained for high-level tasks, such as object classification. This work provides a new unsupervised method to learn semantic parts and gives new understanding of the internal representations of CNNs. Our technique is based on the hypothesis that semantic parts are represented by populations of neurons rather than by single filters. We propose a clustering technique to extract part representations, which we call Visual Concepts. We show that visual concepts are semantically coherent in that they represent semantic parts, and visually coherent in that corresponding image patches appear very similar. Also, visual concepts provide full spatial coverage of the parts of an object, rather than a few sparse parts as is typically found in keypoint annotations. Furthermore, We treat single visual concept as part detector and evaluate it for keypoint detection using the PASCAL3D+ dataset and for part detection using our newly annotated ImageNetPart dataset. The experiments demonstrate that visual concepts can be used to detect parts. We also show that some visual concepts respond to several semantic parts, provided these parts are visually similar. Thus visual concepts have the essential properties: semantic meaning and detection capability. Note that our ImageNetPart dataset gives rich part annotations which cover the whole object, making it useful for other part-related applications.

研究动机与目标

• 理解在为分类任务训练的CNN内部状态中，物体语义部件是如何表征的。
• 开发一种无监督方法，无需人工标注监督即可发现语义上有意义的物体部件。
• 评估神经元活动聚类（视觉概念）是否可作为关键点和部件检测任务中的有效部件检测器。
• 分析视觉概念与语义部件之间的对应关系，特别是当多个部件在视觉上相似或具有重叠响应时。
• 创建一个新的密集标注数据集ImageNetPart，以支持对关键点标注之外的部件检测任务的全面评估。

提出的方法

• 对CNN特征图中空间位置和通道上的特征激活进行聚类，形成‘视觉概念’——代表共享语义和视觉模式的一组神经元。
• 通过测量其激活中心与输入图像块中特征响应之间的距离，将每个视觉概念定义为部件检测器。
• 在PASCAL3D+上使用平均精度（AP）评估视觉概念在关键点检测中的表现，与单个滤波器和有监督基线方法进行比较。
• 通过在PASCAL3D+中选取图像，对六个物体类别进行密集标注，包括语义部件和背景区域，创建ImageNetPart数据集。
• 通过单部件（SingleSP）和多部件（MultipleSP）评估策略分析视觉概念与语义部件之间的对应关系，对漏检情况进行惩罚。
• 利用视觉相似性和空间一致性进行解释，识别出检测多个相似部件、背景区域或无明确语义映射的聚类。

实验结果

研究问题

• RQ1 无监督聚类CNN内部特征激活能否发现语义一致且视觉紧密的物体部件？
• RQ2 视觉概念在检测物体关键点和部件方面与单个滤波器或有监督方法相比表现如何？
• RQ3 视觉概念与语义部件之间的真实对应关系是什么，特别是在多个部件视觉上相似时？
• RQ4 视觉概念是否能同时检测多个语义部件？如果是，其视觉条件是什么？
• RQ5 背景区域和聚类伪影如何影响视觉概念的可解释性？

主要发现

• 视觉概念在语义和视觉上具有一致性，每个聚类中的图像块高度相似，且对应于实际物体部件，如车轮和窗户。
• 该方法在PASCAL3D+上的关键点检测任务中实现了高平均精度（AP），优于使用单个滤波器的检测方法和有监督基线。
• 在ImageNetPart数据集上，视觉概念能有效检测语义部件，当允许每个概念检测少量（2–4个）视觉上相似的部件时，AP显著提升。
• 大多数视觉概念检测1至4个语义部件，尤其在部件具有相似视觉外观时，如侧窗和前窗，或侧车身与地面区域。
• 大量视觉概念检测背景区域（如飞机的天空、火车的轨道），少数概念无明确语义对应，可能源于聚类或特征限制。
• 每个语义部件组合多个视觉概念进行检测，平均AP提升0.25，证明集成检测可显著提升性能。