[论文解读] Object Relation Detection Based on One-shot Learning

Li Zhou, Jian Zhao+3 more|arXiv (Cornell University)|Jul 16, 2018

Multimodal Machine Learning Applications参考文献 21被引用 14

一句话总结

该论文提出了一种语义诱导学习者（SIL）模型，用于物体关系检测，通过零样本学习方法应对物体关系的长尾分布和高组合复杂性问题。通过结合自下而上的 Faster R-CNN 进行物体提议，以及利用语义依赖关系引导的自上而下注意力机制，SIL 实现了鲁棒的少样本谓词分类，并在 VRD 和 Visual Genome 数据集上取得了当前最优性能。

ABSTRACT

Detecting the relations among objects, such as "cat on sofa" and "person ride horse", is a crucial task in image understanding, and beneficial to bridging the semantic gap between images and natural language. Despite the remarkable progress of deep learning in detection and recognition of individual objects, it is still a challenging task to localize and recognize the relations between objects due to the complex combinatorial nature of various kinds of object relations. Inspired by the recent advances in one-shot learning, we propose a simple yet effective Semantics Induced Learner (SIL) model for solving this challenging task. Learning in one-shot manner can enable a detection model to adapt to a huge number of object relations with diverse appearance effectively and robustly. In addition, the SIL combines bottom-up and top-down attention mech- anisms, therefore enabling attention at the level of vision and semantics favorably. Within our proposed model, the bottom-up mechanism, which is based on Faster R-CNN, proposes objects regions, and the top-down mechanism selects and integrates visual features according to semantic information. Experiments demonstrate the effectiveness of our framework over other state-of-the-art methods on two large-scale data sets for object relation detection.

研究动机与目标

• 为解决由于长尾分布和高组合复杂性导致的多样化、罕见物体关系检测挑战。
• 通过建模主语、宾语与谓词之间的语义依赖关系，缓解关系类别内部的差异性。
• 通过为主谓词分类实现零样本学习，提升关系检测中的少样本泛化能力。
• 将自下而上的视觉注意力与自上而下的语义引导相结合，实现更精确的关系定位与分类。
• 通过在统一检测框架中引入语义先验，减少对大规模标注数据的依赖。

提出的方法

• 该框架使用 Faster R-CNN 作为自下而上的物体检测器，为主语和宾语生成区域提议。
• 语义诱导学习者（SIL）模块通过利用主语和宾语类别，实现自上而下的注意力机制，引导特征选择与融合。
• SIL 模型通过利用主语和宾语类别的语义嵌入，实现谓词分类的零样本学习。
• 视觉特征与空间及外观表征相结合，形成用于关系分类的联合表征。
• 该模型采用两阶段方法：首先检测物体，然后利用语义感知注意力机制进行谓词分类。
• 消融实验通过与无 SIL 模块的受控框架对比，验证了 SIL 模块的必要性。

实验结果

研究问题

• RQ1 零样本学习能否提升在长尾数据集中对罕见物体关系的检测性能？
• RQ2 在主语、宾语与谓词之间引入语义依赖关系，能否提升关系分类的准确性？
• RQ3 与纯自下而上的方法相比，由语义引导的自上而下注意力机制在多大程度上提升了性能？
• RQ4 将物体检测与谓词分类分离，是否比端到端的联合建模具有更好的泛化能力？
• RQ5 该框架在处理具有相同谓词但主语/宾语不同的关系类别内部差异性方面，效果如何？

主要发现

• 在视觉关系数据集（VRD）上，所提框架在谓词分类任务中达到 56.56% Recall@50 和 56.56% Recall@100，显著优于受控基线框架（46.60% Recall@50）。
• 在 Visual Genome（VG）数据集上，该框架在谓词分类任务中达到 68.63% Recall@50 和 68.63% Recall@100，而受控基线仅为 52.13%。
• 消融实验表明，移除 SIL 模块后，所有任务的性能均出现显著下降，验证了其有效性。
• 由于具备零样本学习能力和语义注意力机制，该框架在检测罕见关系方面优于当前最优方法。
• 即使仅使用外观和空间特征，将语义信息融入注意力机制也能显著提升谓词分类性能。
• 结果表明，语义依赖关系在区分语义相近的关系（如 'ride' 与 'sit on' 在不同主语-宾语上下文中的区别）中至关重要。