[论文解读] Towards Overcoming False Positives in Visual Relationship Detection

Daisheng Jin, Xiao Ma+9 more|arXiv (Cornell University)|Dec 23, 2020

Multimodal Machine Learning Applications参考文献 52被引用 5

一句话总结

该论文提出SABRA，一种新型视觉关系检测框架，通过平衡负样本提案分布并增强空间建模，显著降低误报率。SABRA采用平衡负样本提案采样（BNPS）缓解类别不平衡问题，并利用多头异质图注意力网络（MH-GAT）与空间掩码解码器（SMD）增强空间建模能力。在HOI与通用VRD基准上，SABRA实现了最先进性能，显著减少了低频、高歧义的误报。

ABSTRACT

In this paper, we investigate the cause of the high false positive rate in Visual Relationship Detection (VRD). We observe that during training, the relationship proposal distribution is highly imbalanced: most of the negative relationship proposals are easy to identify, e.g., the inaccurate object detection, which leads to the under-fitting of low-frequency difficult proposals. This paper presents Spatially-Aware Balanced negative pRoposal sAmpling (SABRA), a robust VRD framework that alleviates the influence of false positives. To effectively optimize the model under imbalanced distribution, SABRA adopts Balanced Negative Proposal Sampling (BNPS) strategy for mini-batch sampling. BNPS divides proposals into 5 well defined sub-classes and generates a balanced training distribution according to the inverse frequency. BNPS gives an easier optimization landscape and significantly reduces the number of false positives. To further resolve the low-frequency challenging false positive proposals with high spatial ambiguity, we improve the spatial modeling ability of SABRA on two aspects: a simple and efficient multi-head heterogeneous graph attention network (MH-GAT) that models the global spatial interactions of objects, and a spatial mask decoder that learns the local spatial configuration. SABRA outperforms SOTA methods by a large margin on two human-object interaction (HOI) datasets and one general VRD dataset.

研究动机与目标

• 探究视觉关系检测（VRD）中高误报率的根本原因，特别是由负样本提案分布不平衡所导致的问题。
• 解决由于高度倾斜的负样本提案分布带来的优化困难，尤其针对罕见且难以检测的误报。
• 通过显式建模主体-客体对的全局上下文与局部空间构型，提升VRD中的空间推理能力。
• 开发一种可泛化的框架，有效降低人类-物体交互（HOI）与通用VRD任务中的误报率。

提出的方法

• SABRA基于检测准确率与关系正确性，将负样本提案划分为五类子类别（$S_{\textrm{neg}}^{1:5}$），以建模负样本分布的不平衡性。
• 采用平衡负样本提案采样（BNPS），通过反转各类子类别的频率实现类别平衡的小批量采样，从而稳定训练并提升泛化能力。
• 框架采用多头异质图注意力网络（MH-GAT），对主体、客体与联合特征分别应用独立的消息传递机制，以建模全局空间与关系上下文。
• 引入空间掩码解码器（SMD），通过在特征空间施加空间约束，显式学习局部空间构型，提升定位精度。
• MH-GAT引入边特征以增强消息传递，SMD则使用可学习掩码关注联合特征图中的相关空间区域。
• 完整框架通过联合优化BNPS、MH-GAT与SMD，同时应对数据分布不平衡与空间歧义性问题。

实验结果

研究问题

• RQ1 在空间歧义之外，视觉关系检测中高误报率的根本原因是什么？
• RQ2 负样本提案分布的不平衡如何影响VRD中的模型优化与性能表现？
• RQ3 对负样本提案进行平衡采样能否提升对VRD中罕见、困难误报的检测能力？
• RQ4 增强的全局与局部空间建模技术在多大程度上可减少VRD中的误报？
• RQ5 将平衡采样与空间建模相结合，如何提升在HOI与通用VRD基准上的性能表现？

主要发现

• 与基线相比，SABRA将低频、高难度误报（$S_{\textrm{neg}}^{3:5}$）数量减少了71.1%，验证了BNPS的有效性。
• BNPS与空间模块（MH-GAT + SMD）的结合使总误报减少71.1%，其中仅空间模块即减少58.5%的误报。
• 在V-COCO数据集上，SABRA在AP role指标上相比基线提升2.04，表明数据不平衡显著制约性能。
• 空间掩码解码器（SMD）优于二值掩码与位置嵌入，证明显式学习空间约束比隐式方法更有效。
• 采用异质消息传递与边特征的MH-GAT优于标准GAT，凸显特征特定消息传递的重要性。
• SABRA在三个基准数据集（V-COCO、HICO-DET与VRD）上均达到最先进性能，证实其泛化能力与鲁棒性。