[论文解读] Understanding human-human interactions: a survey.

Alexandros Stergiou, Ronald Poppe|arXiv (Cornell University)|Jul 31, 2018

Human Pose and Action Recognition参考文献 125被引用 8

一句话总结

本综述回顾了基于视觉的方法在视频中识别人与人互动的研究，重点聚焦于深度学习和卷积神经网络（CNNs），以应对环境变化和复杂协调行为等挑战。综述整合了数据集、方法及开放性问题，以推进对社交人类行为的理解。

ABSTRACT

Many videos depict people, and it is their interactions that inform us of their activities, relation to one another and the cultural and social setting. With advances in human action recognition, researchers have begun to address the automated recognition of these human-human interactions from video. The main challenges stem from dealing with the considerable variation in recording setting, the appearance of the people depicted and the coordinated performance of their interaction. This survey provides a summary of these challenges and datasets to address these, followed by an in-depth discussion of relevant vision-based recognition and detection methods. We focus on recent, promising work based on deep learning and convolutional neural networks (CNNs). Finally, we outline directions to overcome the limitations of the current state-of-the-art to analyze and, eventually, understand social human actions.

研究动机与目标

• 识别并综合视频中识别人与人互动的关键挑战，包括拍摄环境、外观及协调行为的可变性。
• 回顾支持人机互动识别研究的现有数据集，突出其范围与局限性。
• 分析基于视觉的最新识别与检测方法，特别是基于深度学习和卷积神经网络（CNNs）的方法。
• 概述当前局限性的开放性问题与未来研究方向，以克服在理解复杂社交人类行为方面的不足。
• 提供最先进的技术全面概览，以指导研究人员构建更鲁棒且具备社交意识的视频理解系统。

提出的方法

• 系统性地调研用于人机互动识别的现有数据集，强调其在场景、互动类型及标注质量方面的多样性。
• 回顾基于视觉的互动检测与识别方法，重点关注卷积神经网络（CNNs）及其变体等深度学习架构。
• 分析深度学习模型如何从视频中处理时空特征，以捕捉个体之间的协调动作与社交线索。
• 研究上下文与关系特征的整合，以建模互动中的个体间动态与社交背景。
• 讨论应用于互动识别的架构创新，如双流网络、图神经网络及注意力机制。
• 识别当前方法中的不足，特别是在处理长距离依赖、稀有互动及跨场景泛化方面。

实验结果

研究问题

• RQ1 从视频中识别人与人互动的主要挑战是什么，特别是环境与外观可变性方面？
• RQ2 哪些数据集在训练和评估人机互动识别模型方面最具代表性与有效性？
• RQ3 基于深度学习的方法，尤其是CNNs，如何建模协调人类互动的时空动态？
• RQ4 当前最先进方法在理解复杂社交行为方面存在哪些局限性？
• RQ5 为实现对视频中社交人类互动更深入、更鲁棒的理解，未来需要哪些研究方向？

主要发现

• 基于深度学习的方法，尤其是CNNs，通过有效建模时空特征，显著推动了人与人互动的识别进展。
• 尽管已取得进展，当前方法在不同拍摄条件及人类外观变化下的泛化能力仍显不足。
• 由于个体之间存在复杂且非线性的关系，互动的协调性与动态性仍难以建模。
• 现有数据集在范围与标注质量方面差异显著，限制了模型评估的可比性与可扩展性。
• 亟需改进的架构与训练范式，以更好地捕捉互动中的社交背景与长距离依赖。
• 未来工作应聚焦于开发不仅能理解动作，还能理解社交意图与关系动态的模型。