[论文解读] Objects as context for part detection.

Abel Gonzalez-Garcia, Davide Modolo+1 more|arXiv (Cornell University)|Mar 28, 2017

Advanced Neural Network Applications参考文献 36被引用 3

一句话总结

本文提出OffsetNet，一种新颖的深度学习模块，通过利用物体外观、类别以及物体内部预期的相对部件位置，实现语义部件检测。通过在上下文感知的物体特征空间中建模部件，该方法在PASCAL-Part数据集上相比仅依赖部件外观的模型实现了+5 mAP的性能提升。

ABSTRACT

We present a semantic part detection approach that effectively leverages object information.We use the object appearance and its class as indicators of what parts to expect. We also model the expected relative location of parts inside the objects based on their appearance. We achieve this with a new network module, called OffsetNet, that efficiently predicts a variable number of part locations within a given object. Our model incorporates all these cues to detect parts in the context of their objects. This leads to considerably higher performance for the challenging task of part detection compared to using part appearance alone (+5 mAP on the PASCAL-Part dataset). We also compare to other part detection methods on both PASCAL-Part and CUB200-2011 datasets.

研究动机与目标

• 通过引入物体级别的上下文信息（如物体类别和外观）来提升语义部件检测的性能。
• 通过建模物体内部部件的预期相对空间配置，提升定位精度。
• 开发一种灵活的深度学习模块，能够为单个物体预测可变数量的部件位置。
• 超越仅依赖局部部件外观而缺乏物体上下文信息的部件检测方法。

提出的方法

• 提出OffsetNet，一种神经网络模块，基于物体特征和类别嵌入来预测部件位置。
• 利用物体外观和类别作为语义线索，以条件化物体内部部件位置的预测。
• 通过从物体级特征中学习空间偏移量来建模部件的相对位置，从而支持可变长度的部件输出。
• 通过特征融合将物体级上下文整合到部件检测中，提升定位的鲁棒性。
• 在包含部件和物体标注的标注数据集上端到端训练模型，联合优化上下文感知的检测性能。
• 利用主干网络提取的深度卷积特征，来提取物体和部件的表征。

实验结果

研究问题

• RQ1 与仅依赖外观的模型相比，物体级别的语义和空间上下文是否能提升部件检测的准确性？
• RQ2 深度学习模块在单个物体内部预测可变数量部件位置的效率如何？
• RQ3 将物体类别和外观作为线索，能在多大程度上降低部件检测误差？
• RQ4 所提出的方法在标准基准上与当前最先进部件检测方法相比表现如何？

主要发现

• 与仅依赖部件外观的模型相比，该方法在PASCAL-Part数据集上实现了+5 mAP的性能提升。
• 该模型在PASCAL-Part和CUB200-2011两个数据集上均优于现有的部件检测方法。
• 物体级上下文显著提升了定位精度，通过减少误检并改善部件位置估计。
• OffsetNet能够有效处理每个物体中部件数量的可变性，展现出部件检测的灵活性。
• 将物体类别和外观作为上下文线索，显著提升了部件检测的鲁棒性和准确性。
• 该方法在多种物体类别和部件类型上均表现出一致的性能增益。