[论文解读] Towards Context-aware Interaction Recognition

Bohan Zhuang, Lingqiao Liu+2 more|arXiv (Cornell University)|Mar 18, 2017

Multimodal Machine Learning Applications参考文献 36被引用 7

一句话总结

本文提出了一种上下文感知的交互识别框架，通过使用word2vec编码的语义上下文，构建对上下文中的主体-客体对自适应的交互分类器。通过使分类器依赖于上下文，同时为每种交互类型保持单一分类器，该方法在视觉关系检测和短语检测基准上实现了更高的准确率、可扩展性以及零样本泛化能力，在VRD和Visual Phrase数据集上均优于先前方法。

ABSTRACT

Recognizing how objects interact with each other is a crucial task in visual recognition. If we define the context of the interaction to be the objects involved, then most current methods can be categorized as either: (i) training a single classifier on the combination of the interaction and its context; or (ii) aiming to recognize the interaction independently of its explicit context. Both methods suffer limitations: the former scales poorly with the number of combinations and fails to generalize to unseen combinations, while the latter often leads to poor interaction recognition performance due to the difficulty of designing a context-independent interaction classifier. To mitigate those drawbacks, this paper proposes an alternative, context-aware interaction recognition framework. The key to our method is to explicitly construct an interaction classifier which combines the context, and the interaction. The context is encoded via word2vec into a semantic space, and is used to derive a classification result for the interaction. The proposed method still builds one classifier for one interaction (as per type (ii) above), but the classifier built is adaptive to context via weights which are context dependent. The benefit of using the semantic space is that it naturally leads to zero-shot generalizations in which semantically similar contexts (subjectobject pairs) can be recognized as suitable contexts for an interaction, even if they were not observed in the training set.

研究动机与目标

• 解决现有交互识别方法在交互-上下文组合上扩展性差或因上下文无关分类器而无法泛化的问题。
• 开发一种可扩展且可泛化的框架，显式建模上下文，而不将每个交互-上下文对视为唯一类别。
• 通过利用word2vec中的上下文表示语义相似性，提升零样本泛化能力。
• 在保持对多样化交互表示和数据集高性能的同时，避免因交互类型增加而导致参数爆炸。

提出的方法

• 该方法构建了一个上下文感知的交互分类器，其中分类器权重根据主体-客体对的语义嵌入动态调整。
• 使用预训练的word2vec嵌入将上下文（主体-客体对）编码到语义空间中，以实现基于语义相似性的泛化。
• 引入一种上下文感知的注意力池化层，通过关注与交互和上下文均相关的区域来优化视觉特征。
• 该框架将交互分类与上下文建模分离，但通过学习到的上下文特定权重变换使交互分类器依赖于上下文。
• 模型通过端到端训练，使用视觉特征（空间和外观）和上下文嵌入，采用交叉熵损失进行分类。
• 该方法在VRD和Visual Phrase数据集上进行评估，使用Faster R-CNN进行目标检测，并采用标准检索指标（R@50, R@100）。

实验结果

研究问题

• RQ1 上下文感知的交互识别框架能否提升对未见过的交互-上下文组合的泛化能力？
• RQ2 与上下文无关或完全联合分类相比，交互分类器的上下文依赖自适应对性能有何影响？
• RQ3 通过word2vec实现的语义上下文嵌入在多大程度上能实现交互识别中的零样本泛化？
• RQ4 引入上下文感知注意力是否能改善交互识别的视觉表征学习？

主要发现

• 所提出的AP+C+CAT方法在视觉关系检测（VRD）数据集上达到了最先进性能，在少样本和零样本设置下均优于先前方法。
• 在VRD数据集上，该方法在短语检测任务中分别实现了86.8%的R@100和82.9%的R@50，零样本短语检测的准确率分别为30.2%和18.7%。
• 该方法在零样本泛化方面表现强劲，在Visual Phrase数据集上，其零样本短语检测性能相比基线方法[17]提升了超过10个百分点。
• 引入语言先验仅带来微小改进，表明上下文感知分类器自适应已隐式捕捉了交互-上下文相关性。
• 该方法在交互数量增加时仍能高效扩展，避免了将每个交互-上下文对视为独立类别的组合爆炸问题。
• 定性结果表明，即使在未见过的上下文对（如“狗追猫”）上，模型也能正确预测交互，例如在仅用“狗追球”进行训练后。