[论文解读] Watch-n-Patch: Unsupervised Learning of Actions and Relations

Chenxia Wu, Jiemi Zhang+4 more|arXiv (Cornell University)|Mar 11, 2016

Human Pose and Action Recognition参考文献 64被引用 4

一句话总结

该论文提出 Watch-n-Patch，一种完全无监督的概率模型，能够从 RGB-D 视频中学习高层次的动作与物体主题，利用因果主题模型（CaTM）对动作之间的长程时间关系和共现关系进行建模。该方法实现了无监督的动作分割、聚类，并提出了一项新颖的应用——动作补丁（action patching），可检测日常活动中被遗忘的动作，已在新构建的 RGB-D 数据集上进行验证，并成功部署于机器人系统以实现实时提醒。

ABSTRACT

There is a large variation in the activities that humans perform in their everyday lives. We consider modeling these composite human activities which comprises multiple basic level actions in a completely unsupervised setting. Our model learns high-level co-occurrence and temporal relations between the actions. We consider the video as a sequence of short-term action clips, which contains human-words and object-words. An activity is about a set of action-topics and object-topics indicating which actions are present and which objects are interacting with. We then propose a new probabilistic model relating the words and the topics. It allows us to model long-range action relations that commonly exist in the composite activities, which is challenging in previous works. We apply our model to the unsupervised action segmentation and clustering, and to a novel application that detects forgotten actions, which we call action patching. For evaluation, we contribute a new challenging RGB-D activity video dataset recorded by the new Kinect v2, which contains several human daily activities as compositions of multiple actions interacting with different objects. Moreover, we develop a robotic system that watches people and reminds people by applying our action patching algorithm. Our robotic setup can be easily deployed on any assistive robot.

研究动机与目标

• 在没有任何人工标注标签的情况下，将复合人类活动建模为基本动作与物体交互的序列。
• 发现日常活动中动作之间的长程时间关系与共现关系，这些关系常被依赖短程建模的先前方法所忽略。
• 开发一项新颖的机器人应用——动作补丁，通过无监督视频理解检测并提醒用户被遗忘的动作。
• 构建一个新的、具有挑战性的 RGB-D 视频数据集，用于支持无监督活动学习与评估。
• 仅使用未标注的视频数据，实现在辅助机器人上的系统部署，以支持真实世界中的人类活动。

提出的方法

• 将每段视频表示为一系列短期片段，其中人体骨骼轨迹被视为‘人-词’，物体轨迹被视为‘物-词’。
• 提出一种因果主题模型（CaTM），联合建模动作主题、物体主题及其相关性，实现长程动作关系建模。
• 使用相关主题先验来建模动作与物体主题的共现，捕捉如‘取书’与‘放回书’等强关联依赖。
• 采用分层生成建模方法，其中人-词从动作主题中抽取，物-词则从动作主题与物体主题中共同抽取。
• 采用 Gibbs 采样进行推理，基于词共现与时间上下文的后验分布来推断主题分配。
• 利用 RGB-D 特征，包括人体骨骼与物体轨迹，以提升在仅使用 RGB 的基线方法之上的动作识别性能。

实验结果

研究问题

• RQ1 完全无监督的模型能否仅从原始 RGB-D 视频中学习到有意义的动作与物体主题，而无需任何标注？
• RQ2 该模型能否捕捉复合人类活动中动作之间的长程时间关系与共现关系，例如‘取书’与‘放回书’之间被长时间阅读阶段隔开的情况？
• RQ3 在仅提供未标注视频序列的情况下，该模型能否实现实时检测被遗忘的动作？
• RQ4 与现有方法相比，所提出的 CaTM 模型在无监督动作分割与聚类方面的有效性如何？
• RQ5 所学习的模型能否部署于真实机器人上，以在日常习惯中及时提醒用户被遗忘的动作？

主要发现

• 所提出的 Watch-n-Patch 系统成功仅通过无监督学习从未标注的 RGB-D 视频中检测出日常活动中的被遗忘动作。
• 该模型通过 CaTM 框架学习到相关联的动作与物体主题，实现了有效的无监督动作分割与聚类。
• 该系统在使用 Kinect v2 拍摄的新颖且具有挑战性的 RGB-D 数据集上得到验证，该数据集包含具有长程依赖关系的多种复合活动。
• 机器人实现成功检测出遗漏动作，如‘放回书本’或‘关闭显示器’，并通过激光点指示进行提醒。
• 该方法在建模长程动作关系方面优于基线方法，而长程关系对检测复杂日常习惯中的遗漏行为至关重要。
• 在真实辅助机器人上的部署证明了该方法在真实世界人机交互场景中的可行性与实用性。