[论文解读] Tinkering Under the Hood: Interactive Zero-Shot Learning with Net Surgery

Vivek Krishnan, Deva Ramanan|arXiv (Cornell University)|Dec 15, 2016

Domain Adaptation and Few-Shot Learning参考文献 29被引用 4

一句话总结

本文提出通过'网络手术'（Net Surgery）实现交互式零样本学习——一种利用视觉部件的图像语言重配置预训练CNN的方法，可在无需额外训练数据的情况下检测新型概念（例如'条纹汽车'）。通过可视化并重新组合内部滤波器激活，构建空间结构化的图像语言分类器（PLCs），该方法在召回率为10时实现了93.1%的mAP，用于检测至少一个查询的视觉部件，展示了强大的零样本泛化能力。

ABSTRACT

We consider the task of visual net surgery, in which a CNN can be reconfigured without extra data to recognize novel concepts that may be omitted from the training set. While most prior work make use of linguistic cues for such "zero-shot" learning, we do so by using a pictorial language representation of the training set, implicitly learned by a CNN, to generalize to new classes. To this end, we introduce a set of visualization techniques that better reveal the activation patterns and relations between groups of CNN filters. We next demonstrate that knowledge of pictorial languages can be used to rewire certain CNN neurons into a part model, which we call a pictorial language classifier. We demonstrate the robustness of simple PLCs by applying them in a weakly supervised manner: labeling unlabeled concepts for visual classes present in the training data. Specifically we show that a PLC built on top of a CNN trained for ImageNet classification can localize humans in Graz-02 and determine the pose of birds in PASCAL-VOC without extra labeled data or additional training. We then apply PLCs in an interactive zero-shot manner, demonstrating that pictorial languages are expressive enough to detect a set of visual classes in MS-COCO that never appear in the ImageNet training set.

研究动机与目标

• 实现对训练数据中不存在的新视觉概念的零样本检测。
• 开发一种交互式框架，使人类能够使用视觉而非语言语义指导网络重配置。
• 通过滤波器激活的可视化与空间关系分析，解释并重连CNN内部表征。
• 证明预训练CNN隐式学习到可重用的基于部件的特征，可通过人工引导的重配置加以再利用。
• 在真实世界数据集（MS-COCO、PASCAL VOC）上验证该方法，且无需额外标注数据。

提出的方法

• 通过识别使特定滤波器最大激活的图像块，可视化CNN内部表征，揭示分层的、具有视网膜拓扑特性的特征图。
• 通过将滤波器响应聚类解释为视觉概念（例如纹理、部件、物体），构建图像语言。
• 定义图像语言分类器（PLCs）的空间语法规则，利用空间逻辑（如共现、相对位置）组合视觉部件。
• 通过在预训练CNN顶部插入PLCs作为附加层来重配置网络，避免端到端微调。
• 使用负向部件（例如从条纹汽车中减去头部得分）来优化检测，减少误报。
• 通过用户研究和召回率为10时的mAP评估PLCs，以衡量其在检测部分或完整视觉概念时的准确性。

实验结果

研究问题

• RQ1 预训练CNN是否可在无需任何额外训练数据的情况下被重配置以检测新视觉概念？
• RQ2 人类用户是否能有效通过视觉而非语言线索理解并重配置CNN内部表征？
• RQ3 视觉部件的图像语言是否足以构建对未见概念具有高准确性和泛化能力的检测器？
• RQ4 使用负向部件在提升复杂视觉概念检测精度方面的效果如何？
• RQ5 PLCs是否能在真实世界基准数据集上，在弱监督和零样本设置下实现高性能？

主要发现

• 基于预训练ImageNet CNN构建的图像语言分类器（PLC）在PASCAL VOC 2007验证集上，无需任何标注数据，实现了87.5%的姿势识别准确率，用于检测左向和右向的鸟类。
• 该方法在Graz-02数据集中无需额外训练即可定位人类，展示了对先前未见物体类别的强大零样本泛化能力。
• 在MS-COCO数据集中进行新概念发现时，该方法在召回率为10时检测至少一个查询视觉部件的平均平均精度（mAP）达到0.931。
• 在召回率为10时，检测所有查询视觉部件的mAP为0.401，表明虽然完整概念匹配具有挑战性，但部分检测极为有效。
• 引入负向部件（例如减去动物头部得分）显著改善了得分图和重排序性能，降低了对类似斑马区域的误报。
• 用户研究证实，参与者能够可靠地理解视觉查询并评估检测质量，验证了图像语言方法的直观可用性。