[论文解读] SkeleMotion: A New Representation of Skeleton Joint Sequences Based on Motion Information for 3D Action Recognition

Carlos Caetano, Jessica Sena+3 more|arXiv (Cornell University)|Jul 30, 2019

Human Pose and Action Recognition参考文献 42被引用 212

一句话总结

SkeleMotion 将骨架关节的时间动态编码为跨多个时间尺度的运动幅度与方向，作为一个小型 CNN 的输入，在与空间骨架表示融合时，在 NTU RGB+D 120 上实现了最先进的结果。

ABSTRACT

Due to the availability of large-scale skeleton datasets, 3D human action recognition has recently called the attention of computer vision community. Many works have focused on encoding skeleton data as skeleton image representations based on spatial structure of the skeleton joints, in which the temporal dynamics of the sequence is encoded as variations in columns and the spatial structure of each frame is represented as rows of a matrix. To further improve such representations, we introduce a novel skeleton image representation to be used as input of Convolutional Neural Networks (CNNs), named SkeleMotion. The proposed approach encodes the temporal dynamics by explicitly computing the magnitude and orientation values of the skeleton joints. Different temporal scales are employed to compute motion values to aggregate more temporal dynamics to the representation making it able to capture longrange joint interactions involved in actions as well as filtering noisy motion values. Experimental results demonstrate the effectiveness of the proposed representation on 3D action recognition outperforming the state-of-the-art on NTU RGB+D 120 dataset.

研究动机与目标

• 通过明确建模关节运动信息来促进和改进基于骨架的三维动作识别。
• 提出一种新型骨架图像表示（SkeleMotion），编码关节运动的幅度和方向。
• 利用多尺度时间聚合来捕捉长程关节交互并降低噪声。
• 提供一个轻量级的 CNN 分类器，能够在紧凑表示上快速训练。
• 在使用 SkeleMotion 时，在 NTU RGB+D 60/120 上实现最先进或具竞争力的结果，包括与空间表示的融合。

提出的方法

• 通过深度优先遍历骨架构建一个预定义的关节链 C，以保持空间关系。
• 对每帧计算关节坐标 S，并通过以滞后 d 的帧差来推导运动结构 D（D = S_{c,t+d} - S_c）。
• 从 D 派生幅度 M 与方向 θ，其中 θ 由 xy、yz、zx 分量计算，并通过一个幅度阈值 m 过滤以抑制噪声。
• 对得到的 M 与 θ 表示进行归一化和重采样，形成 SkeleMotion 图像（C x T x 通道数）。
• 应用一个极小的 CNN（3 个卷积层，2 个全连接层），从零开始训练以进行动作分类。
• 通过在多个时间滞后 d 上计算 D、M、θ 并将结果堆叠来引入时域尺度聚合（TSA），以丰富时域动态。

实验结果

研究问题

• RQ1 显式的运动信息（幅度和方向）在多个时间尺度上的利用，是否能在基于骨架的动作识别中优于现有的骨架图像表示？
• RQ2 多尺度时域聚合是否有助于捕捉长程的关节交互并降低嘈杂的运动信号？
• RQ3 在 NTU RGB+D 60/120 数据集上，与基于空间表示的融合时，SkeleMotion 的表现相较于最先进的骨架图像方法如何？

主要发现

• 带有幅度信息的 SkeleMotion（TSA）在 NTU RGB+D 60 的跨视角准确率上表现强劲，优于若干基线。
• 带有幅度信息的 SkeleMotion（TSA）在 NTU RGB+D 60 的跨对象和跨视角分别达到 69.6% 和 80.1% 的准确率（TSA）。
• 仅使用方向信息（TSA）也取得了具有竞争力的结果，但幅度信息（TSA）通常表现更好；将幅度+方向（TSA）结合可进一步提升准确率。
• 将 SkeleMotion 与 Yang 等人（TSSI）的方法融合，进一步提升了结果，在 NTU RGB+D 60 的早期与晚期融合设置中均超越了若干基线。
• 在 NTU RGB+D 120 上，基于幅度+方向（TSA）的结果与最先进的基于 LSTM 的方法具有竞争力，且与 Yang 等人融合后达到接近最先进的表现，超越了多种先前的骨架基础方法。
• 研究表明显式的运动建模与 TSA 相对于运动朴素的骨架表示与基线运动编码提供显著提升。
• 用于 SkeleMotion 的代码已公开，地址为 https://github.com/carloscaetano/skeleton-images，便于复现。