[论文解读] Object-Part Attention Driven Discriminative Localization for Fine-grained Image Classification.

Yuxin Peng, Xiangteng He+1 more|arXiv (Cornell University)|Apr 6, 2017

Advanced Neural Network Applications被引用 7

一句话总结

该论文提出OPADDL，一种弱监督细粒度图像分类方法，通过联合学习物体级和部件级注意力，实现在无需物体或部件标注的情况下定位判别性部件。通过整合物体与部件之间的空间约束，该方法提升了定位精度，并在三个基准数据集上取得了最先进性能。

ABSTRACT

Fine-grained image classification is to recognize hundreds of subcategories belonging to the same basic-level category, such as 200 subcategories belonging to bird, and highly challenging due to large variance in same subcategory and small variance among different subcategories. Existing methods generally find where the object or its parts are and then discriminate which subcategory the image belongs to. However, they mainly have two limitations: (1) Relying on object or parts annotations which are heavily labor consuming. (2) Ignoring the spatial relationship between the object and its parts as well as among these parts, both of which are significantly helpful for finding discriminative parts. Therefore, this paper proposes the object-part attention driven discriminative localization (OPADDL) approach for weakly supervised fine-grained image classification, and the main novelties are: (1) Object-part attention model integrates two level attentions: object-level attention localizes objects of images, and part-level attention selects discriminative parts of object. Both are jointly employed to learn multi-view and multi-scale features to enhance their mutual promotion. (2) Object-part spatial model combines two spatial constraints: object spatial constraint ensures selected parts highly representative, and part spatial constraint eliminates redundancy and enhances discrimination of selected parts. Both are jointly employed to exploit the subtle and local differences for distinguishing the subcategories. Importantly, neither objects nor parts annotations are used, which avoids the heavy labor consuming of labeling. Comparing with more than 10 state-of-the-art methods on 3 widely used datasets, our OPADDL approach achieves the best performance.

研究动机与目标

• 解决细粒度图像分类中的挑战，即子类别在外观上差异细微，需精确定位判别性部件。
• 克服现有方法依赖昂贵的物体或部件标注进行训练的局限性。
• 通过建模物体与其部件之间的空间关系，提升判别能力，增强子类别分类的特征表示。
• 开发一种弱监督方法，在无需边界框或部件级标注的情况下实现高性能。
• 通过联合优化物体与部件注意力机制，实现多尺度、多视角特征学习。

提出的方法

• 提出一种物体-部件注意力模型，采用两级注意力机制：物体级注意力定位主要物体，部件级注意力识别物体内部的判别性部件。
• 联合优化物体与部件注意力，促进多尺度和多视角下特征的相互增强。
• 设计物体空间约束，确保所选部件高度代表物体的子类别。
• 实施部件空间约束，通过建模部件间的相对空间配置，减少冗余并增强所选部件的独特性。
• 结合两种空间约束，利用细微的局部差异，显著提升细粒度类别的区分能力。
• 仅使用图像级标签端到端训练整个网络，无需边界框或部件标注。

实验结果

研究问题

• RQ1 基于注意力的机制是否能在无需部件级标注的情况下，有效定位细粒度图像中的判别性部件？
• RQ2 建模物体与其部件之间的空间关系在细粒度识别中如何提升分类性能？
• RQ3 在弱监督设置下，联合优化物体级与部件级注意力在多大程度上能增强特征表示？
• RQ4 空间约束的整合是否相比标准注意力机制，能带来更鲁棒、更具判别性的定位效果？
• RQ5 所提出方法是否能在无需任何部件或物体标注的情况下，在标准细粒度基准上实现最先进性能？

主要发现

• OPADDL在三个广泛使用的细粒度图像分类数据集上，性能优于10余种最先进方法。
• 所提出的物体-部件注意力机制无需任何部件级或物体级标注，即可有效定位判别性部件。
• 物体与部件空间约束的整合显著提升了定位精度，通过强调代表性且非冗余的部件实现。
• 通过双注意力机制联合优化多尺度与多视角特征，生成了更强的判别性表征。
• 该方法在弱监督设置下，展现出卓越的泛化能力与鲁棒性，适用于细粒度分类任务。
• 消融实验验证了物体级与部件级注意力组件，以及空间约束，对最终性能均有显著贡献。