[论文解读] Skepxels: Spatio-temporal Image Representation of Human Skeleton Joints for Action Recognition

Jian Liu, Naveed Akhtar+1 more|arXiv (Cornell University)|Nov 16, 2017

Human Pose and Action Recognition参考文献 53被引用 17

一句话总结

本文提出Skepxels，一种新颖的时空图像表示方法，将人体骨骼关节点序列转换为可变维度的图像，以实现高效的基于CNN的动作识别。通过使用独特的距离度量将关节点组织成2D网格，并同时编码位置与速度信息，Skepxels能够捕捉丰富的时空相关性，在NTU、NUCLA和UTD-MHAD数据集上分别实现了4.4%、5.7%和9.3%的SOTA准确率提升。

ABSTRACT

Human skeleton joints are popular for action analysis since they can be easily extracted from videos to discard background noises. However, current skeleton representations do not fully benefit from machine learning with CNNs. We propose "Skepxels" a spatio-temporal representation for skeleton sequences to fully exploit the "local" correlations between joints using the 2D convolution kernels of CNN. We transform skeleton videos into images of flexible dimensions using Skepxels and develop a CNN-based framework for effective human action recognition using the resulting images. Skepxels encode rich spatio-temporal information about the skeleton joints in the frames by maximizing a unique distance metric, defined collaboratively over the distinct joint arrangements used in the skeletal image. Moreover, they are flexible in encoding compound semantic notions such as location and speed of the joints. The proposed action recognition exploits the representation in a hierarchical manner by first capturing the micro-temporal relations between the skeleton joints with the Skepxels and then exploiting their macro-temporal relations by computing the Fourier Temporal Pyramids over the CNN features of the skeletal images. We extend the Inception-ResNet CNN architecture with the proposed method and improve the state-of-the-art accuracy by 4.4% on the large scale NTU human activity dataset. On the medium-sized N-UCLA and UTH-MHAD datasets, our method outperforms the existing results by 5.7% and 9.3% respectively.

研究动机与目标

• 为解决由于关节点数据稀疏且非图像化，导致CNN在基于骨骼的动作识别中利用有限的问题。
• 克服列式或上采样骨骼表示方法在语义上产生失真并引入噪声的局限性。
• 开发一种灵活可学习的图像表示方法，以保留跨帧骨骼关节点之间的时空相关性。
• 利用CNN特征实现对微时间尺度关节点关系与宏观时间尺度动作模式的层次化建模。
• 证明Skepxels在真实世界RGB视频骨骼数据上具有良好泛化能力，而不仅限于精确的3D骨骼数据。

提出的方法

• Skepxels通过在关节点排列上使用独特的距离度量，将多帧的关节点位置组织为2D张量，定义了一种新的原子视觉单元——骨骼像素（skeleton picture element）。
• 该方法通过排列来自不同帧的Skepxels，构建出任意尺寸的骨骼图像，同时保留时空动态特性。
• 通过将连续帧之间的时序差值引入图像张量，编码关节点的位置与速度信息。
• 该框架采用分层CNN流水线：首先，Inception-ResNet从Skepxel图像中提取微时间特征；随后，傅里叶时间金字塔模型捕捉跨帧的宏观时间依赖关系。
• 该方法支持多种CNN架构（Inception-ResNet、GoogLeNet、ResNet），并支持模型集成以进一步提升准确率。
• 该表示对噪声骨骼数据具有鲁棒性，如DeeperCut解析的关节点在RGB视频上表现相近。

实验结果

研究问题

• RQ1 若将骨骼关节点序列以恰当方式表示为图像，基于CNN的动作识别框架是否能实现SOTA性能？
• RQ2 基于2D网格的骨骼图像表示与列式或上采样表示相比，在捕捉时空相关性方面表现如何？
• RQ3 Skepxels在单个图像张量中编码关节点位置与速度等语义概念的程度如何？
• RQ4 所提出的表示是否能泛化到存在不完美骨骼提取的现实世界RGB视频数据？
• RQ5 利用Skepxels进行分层特征学习（微时间与宏观时间）是否能显著提升在多样化数据集上的识别准确率？

主要发现

• 所提出的Skepxel表示在大规模NTU人体活动数据集上将动作识别准确率提升了4.4%，创下新SOTA记录。
• 在NUCLA数据集上，该方法相比现有方法实现了5.7%的准确率增益，展现出强大的泛化能力。
• 在UTD-MHAD数据集上，准确率提升了9.3%，凸显该表示在中等规模、多模态动作数据上的有效性。
• 在所有数据集和CNN架构中，同时编码位置与速度信息（loc+vel）的Skepxels始终优于仅编码位置信息的表示。
• 该表示对噪声骨骼数据具有良好的泛化能力：使用DeeperCut解析的关节点，在UTD-MHAD上达到92.3%的准确率，与使用精确3D骨骼的结果相当。
• 通过Skepxels集成多个CNN模型（如Inception-ResNet + ResNet）可进一步提升性能，在UTD-MHAD上达到98.6%的准确率，证实了该方法的可扩展性与鲁棒性。