[论文解读] View Adaptive Recurrent Neural Networks for High Performance Human Action Recognition from Skeleton Data

Pengfei Zhang, Cuiling Lan+4 more|arXiv (Cornell University)|Mar 24, 2017

Human Pose and Action Recognition参考文献 39被引用 56

一句话总结

引入一个视角自适应的 LSTM 框架，能够自动回归观测视角用于基于骨架的动作识别，在 NTU、SBU 和 SYSU 数据集上实现了最先进的结果。

ABSTRACT

Skeleton-based human action recognition has recently attracted increasing attention due to the popularity of 3D skeleton data. One main challenge lies in the large view variations in captured human actions. We propose a novel view adaptation scheme to automatically regulate observation viewpoints during the occurrence of an action. Rather than re-positioning the skeletons based on a human defined prior criterion, we design a view adaptive recurrent neural network (RNN) with LSTM architecture, which enables the network itself to adapt to the most suitable observation viewpoints from end to end. Extensive experiment analyses show that the proposed view adaptive RNN model strives to (1) transform the skeletons of various views to much more consistent viewpoints and (2) maintain the continuity of the action rather than transforming every frame to the same position with the same body orientation. Our model achieves significant improvement over the state-of-the-art approaches on three benchmark datasets.

研究动机与目标

• 在大视角变化下推动对3D骨架数据的鲁棒动作识别
• 开发一个观测视角逐帧回归的视角自适应机制
• 将视角自适应模块与主 LSTM 网络在一个端到端可训练的系统中集成
• 在多个数据集上展示相较于现有方法的改进识别性能

提出的方法

• 提出一个 View Adaptation Subnetwork，预测每帧的旋转（alpha、beta、gamma）和平移（d），以形成一个新的观测坐标系统。
• 使用刚体变换（R_t 和 d_t）在自适应视点下表示每帧的关节。
• 使用分离的 LSTM 分支从帧输入中学习旋转和平移参数。
• 将自适应后的骨架输入到 Main LSTM Network（堆叠的 3 层 LSTM）中进行时序特征学习和分类。
• 使用交叉熵损失端到端训练整个网络，将梯度从 Main LSTM 传回到 View Adaptation Subnetwork。

实验结果

研究问题

• RQ1 可学习的、逐帧的视角自适应是否能提高骨架基动作识别对视角变化的鲁棒性？
• RQ2 同时学习视角调控和动作分类对识别准确性的影响是什么？
• RQ3 在基准数据集上，VA-LSTM 与基于传统预处理的视角归一化方法相比如何？
• RQ4 在对齐不同主体和动作的视角时，视角自适应是否在保持运动连续性的同时实现对齐？

主要发现

• VA-LSTM 在 NTU 的 CS 79.4 和 CV 87.6 上达到当前最先进的准确率。
• 在 SBU 上，VA-LSTM 达到 97.2% 的准确率，优于以往方法。
• 在 SYSU 上，VA-LSTM 分别在 setting-1 获得 76.9%，setting-2 为 77.5%。
• 端到端的视角自适应持续优于依赖逐帧或序列级旋转/平移的预处理策略。
• 可视化显示模型将骨架回归到更一致的视角，同时保持动作动力学。