[论文解读] Pairwise Body-Part Attention for Recognizing Human-Object Interactions

Hao-Shu Fang, Jinkun Cao+2 more|arXiv (Cornell University)|Jul 28, 2018

Human Pose and Action Recognition被引用 8

一句话总结

该论文提出了一种用于人体-物体交互（HOI）识别的成对身体部位注意力模型，通过ROI池化和注意力机制显式聚焦于具有区分性的身体部位及其相关性，以改进特征选择。该方法在HICO数据集上实现了10%的相对性能提升（mAP从36.1提升至39.9），通过利用部位级注意力和成对特征相关性，超越了先前的最先进方法。

ABSTRACT

In human-object interactions (HOI) recognition, conventional methods consider the human body as a whole and pay a uniform attention to the entire body region. They ignore the fact that normally, human interacts with an object by using some parts of the body. In this paper, we argue that different body parts should be paid with different attention in HOI recognition, and the correlations between different body parts should be further considered. This is because our body parts always work collaboratively. We propose a new pairwise body-part attention model which can learn to focus on crucial parts, and their correlations for HOI recognition. A novel attention based feature selection method and a feature representation scheme that can capture pairwise correlations between body parts are introduced in the model. Our proposed approach achieved 4% improvement over the state-of-the-art results in HOI recognition on the HICO dataset. We will make our model and source codes publicly available.

研究动机与目标

• 为解决现有HOI识别中整体性或粗粒度身体部位注意力的局限性，通过建模细粒度、非均匀的身体部位注意力来改进。
• 通过显式建模身体部位之间的相关性来提升HOI识别性能，因为这些身体部位在真实交互中通常协同工作。
• 设计一种特征表示方法，以捕捉身体部位之间的成对相关性，同时过滤无关特征。
• 设计一种端到端可训练的注意力机制，自动为每个HOI标签选择最具区分性的身体部位对。
• 在HICO和MPII数据集上展示显著的性能提升，尤其在需要详细身体部位理解的交互任务中。

提出的方法

• 引入成对ROI池化，从每对身体部位中提取联合特征图，摒弃无关特征。
• 提出一种新颖的基于注意力的特征选择机制，学习聚焦于每个HOI标签最相关的身体部位对。
• 构建一种特征表示，通过可学习的注意力模块编码身体部位之间的成对相关性。
• 将所选的成对特征与全局的人体、物体及背景特征结合，用于最终的HOI预测。
• 使用多任务损失端到端训练整个模型，以同时优化特征选择和HOI分类。
• 使用一组预定义的身体部位对（例如左肘-颈部、右腕-颈部）来建模人类交互中的物理和功能约束。

实验结果

研究问题

• RQ1 对特定身体部位建模非均匀注意力是否能超越整体性或粗粒度的部位级注意力，从而提升HOI识别性能？
• RQ2 捕捉身体部位之间的成对相关性是否能提升HOI类别判别能力，特别是对需要细粒度身体部位理解的类别？
• RQ3 所学习的注意力机制在多大程度上与人类对特定交互中最相关身体部位的直觉一致？
• RQ4 该方法在多大程度上通过过滤无关身体部位减少了误报？
• RQ5 该模型能否在多样化的HOI类别中实现良好泛化，特别是对那些具有细微或复杂手势的类别？

主要发现

• 与先前最先进方法相比，该方法在HICO数据集上实现了mAP 10%的相对提升（从36.1提升至39.9）。
• 该模型在需要详细身体部位理解的HOI类别中显著提升了性能，例如‘买苹果’（mAP从19.3提升至59.0）和‘放飞鸟’（mAP从14.5提升至51.3）。
• Top-5注意力准确率达到0.76，表明学习到的注意力与人类对相关身体部位对的直觉高度一致。
• 消融实验表明，移除特征选择层会使mAP下降1.2，证实了过滤无关身体部位对的重要性。
• 通过成对ROI池化和基于注意力的选择，该模型有效减少了因无关身体部位导致的误报。
• 失败案例主要源于背景特征模糊或当前框架未建模的多人交互场景。