[论文解读] UnionDet: Union-Level Detector Towards Real-Time Human-Object Interaction Detection

Bumsoo Kim, Tae-Ho Choi+2 more|arXiv (Cornell University)|Dec 19, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出UnionDet，一种单阶段人体-物体交互（HOI）检测框架，通过一种新颖的联合区域检测器直接预测交互区域（人体-物体对的并集），消除了对后续目标检测配对的需求。通过引入联合区域锚点标注、目标物体分类损失和前景焦点损失，UnionDet在V-COCO和HICO-DET数据集上超越了最先进方法，同时将交互预测的推理速度提升了4×–14×。

ABSTRACT

Recent advances in deep neural networks have achieved significant progress in detecting individual objects from an image. However, object detection is not sufficient to fully understand a visual scene. Towards a deeper visual understanding, the interactions between objects, especially humans and objects are essential. Most prior works have obtained this information with a bottom-up approach, where the objects are first detected and the interactions are predicted sequentially by pairing the objects. This is a major bottleneck in HOI detection inference time. To tackle this problem, we propose UnionDet, a one-stage meta-architecture for HOI detection powered by a novel union-level detector that eliminates this additional inference stage by directly capturing the region of interaction. Our one-stage detector for human-object interaction shows a significant reduction in interaction prediction time 4x~14x while outperforming state-of-the-art methods on two public datasets: V-COCO and HICO-DET.

研究动机与目标

• 解决多阶段HOI检测器效率低下的问题，其需要按顺序进行目标检测和交互配对，造成主要的推理瓶颈。
• 通过消除对物体对上繁重的后处理推理，实现真正的实时HOI检测。
• 开发一种统一的、端到端可训练的单阶段架构，同时检测物体和交互关系。
• 克服联合区域检测面临的技术挑战，如对人类区域的偏差以及基于IoU的匹配不准确问题。
• 在标准目标检测的额外推理时间极低的前提下，实现最先进性能。

提出的方法

• 提出一种新颖的联合区域检测器，直接回归交互区域（人体与物体的并集），而非依赖检测后对物体的配对。
• 引入联合区域锚点标注，基于联合区域级别的IoU匹配将锚点分配给交互区域，提升定位精度。
• 设计目标物体分类损失（$\mathcal{L}^{cls}_{ij}$），以更好地区分交互对中的物体类别。
• 开发联合前景焦点损失（FFL），根据联合区域级别的置信度重新加权正样本，减轻背景偏差。
• 使用联合匹配函数（$\mu_u$），用更鲁棒的度量替代标准IoU，以匹配锚点与交互区域。
• 将联合检测器集成到元架构（UnionDet）中，兼容现有单阶段目标检测器，支持端到端训练。

Figure 1: Technical Challenges in Union Detection. (Left) The box with the highest confidence for the ground-truth action ’throw’ is highlighted in bold, and the region with the highest IoU with the ground-truth union region is dotted. As you can see, the highest confidence is biased towards the hum

实验结果

研究问题

• RQ1 单阶段检测器能否在不依赖独立配对阶段的前提下，直接预测人体-物体交互区域？
• RQ2 联合区域检测如何克服对人类区域的偏差以及基于IoU匹配不准确的挑战？
• RQ3 需要哪些训练技术来稳定并提升联合区域检测的性能？
• RQ4 与多阶段HOI检测器相比，联合区域检测器在推理时间上能减少多少？
• RQ5 联合区域检测器能否在保持实时推理速度的同时实现最先进性能？

主要发现

• 与基线多阶段HOI检测器相比，UnionDet在交互预测上的推理速度提升了4×–14×，后者在目标检测后每张图像需40ms–130ms。
• 该模型在标准目标检测器基础上，将额外推理时间减少至仅9.06ms（占11.7%），显著优于先前方法。
• 在V-COCO数据集上，UnionDet在两种评估场景下分别达到47.5%和56.2%的平均精度，超越最先进方法。
• 在HICO-DET数据集上，UnionDet在“默认”和“已知物体”设置下均达到最先进性能，且无需依赖外部特征。
• 消融实验证实，每个组件——联合分支、目标物体分类损失、联合匹配函数和前景焦点损失——均显著提升了检测性能。
• 该模型在保持完全端到端可训练性的同时，兼容现有单阶段目标检测器，支持实时部署。

Figure 2: The overall architecture of UnionDet. Our UnionDet is generally compatible with one-stage object detectors. The feature pyramid obtained from the backbone network is simultaneously fed to Union Branch and Instance Branch. While Union Branch directly captures the region of interaction, Inst