[论文解读] SequentialPointNet: A strong parallelized point cloud sequence network for 3D action recognition

Xing Li, Qian Huang+3 more|arXiv (Cornell University)|Nov 16, 2021

Human Pose and Action Recognition参考文献 71被引用 4

一句话总结

SequentialPointNet 是一种并行化的 3D 动作识别网络，通过解耦帧内外观编码与帧间运动编码，高效捕捉点云序列中的时空动态。通过避免昂贵的时空局部邻域构建，并结合带有时间位置编码的层次化池化，其在三个公开数据集上实现了最先进性能。

ABSTRACT

Point cloud sequences of 3D human actions exhibit unordered intra-frame spatial information and ordered interframe temporal information. In order to capture the spatiotemporal structures of the point cloud sequences, cross-frame spatio-temporal local neighborhoods around the centroids are usually constructed. However, the computationally expensive construction procedure of spatio-temporal local neighborhoods severely limits the parallelism of models. Moreover, it is unreasonable to treat spatial and temporal information equally in spatio-temporal local learning, because human actions are complicated along the spatial dimensions and simple along the temporal dimension. In this paper, to avoid spatio-temporal local encoding, we propose a strong parallelized point cloud sequence network referred to as SequentialPointNet for 3D action recognition. SequentialPointNet is composed of two serial modules, i.e., an intra-frame appearance encoding module and an inter-frame motion encoding module. For modeling the strong spatial structures of human actions, each point cloud frame is processed in parallel in the intra-frame appearance encoding module and the feature vector of each frame is output to form a feature vector sequence that characterizes static appearance changes along the temporal dimension. For modeling the weak temporal changes of human actions, in the inter-frame motion encoding module, the temporal position encoding and the hierarchical pyramid pooling strategy are implemented on the feature vector sequence. In addition, in order to better explore spatio-temporal content, multiple level features of human movements are aggregated before performing the end-to-end 3D action recognition. Extensive experiments conducted on three public datasets show that SequentialPointNet outperforms stateof-the-art approaches.

研究动机与目标

• 解决 3D 动作识别模型中时空局部邻域构建带来的计算瓶颈。
• 将空间外观建模与时间运动建模解耦，以更好地反映人类动作中固有的结构差异。
• 通过避免顺序邻域计算，在处理点云序列时实现强大的并行性。
• 通过层次化池化聚合多级时空特征，提升 3D 动作识别的准确性。
• 开发一种可扩展且高效的架构，在不依赖复杂局部邻域学习的前提下保持高性能。

提出的方法

• 在帧内外观编码模块中独立处理每一帧点云，以并行方式提取静态空间特征。
• 生成一系列表示随时间变化的外观特征向量的帧级特征向量序列。
• 对特征向量序列应用时间位置编码，以保留时间顺序和相对时间信息。
• 在帧间运动编码模块中采用分层金字塔池化策略，以高效捕捉长程时间依赖。
• 聚合网络不同阶段的多级特征，以在最终分类前丰富时空表征。
• 使用标准交叉熵损失端到端训练整个网络以进行 3D 动作识别。

实验结果

研究问题

• RQ1 并行化架构是否能在降低计算成本的同时，优于基于时空局部邻域的现有 3D 动作识别模型？
• RQ2 将空间外观与时间运动建模解耦，对点云序列数据的性能提升有多大影响？
• RQ3 时间位置编码与层次化池化在多大程度上可以替代显式的时空邻域构建？
• RQ4 多级特征聚合是否能提升点云序列基准上的识别准确率？
• RQ5 所提方法是否能在不依赖复杂局部邻域计算的前提下实现最先进性能？

主要发现

• SequentialPointNet 在三个公开的 3D 动作识别基准上实现了最先进性能，且未使用时空局部邻域。
• 由于避免了计算昂贵的邻域构建，该模型展现出强大的并行性，支持高效训练与推理。
• 分层金字塔池化策略能有效捕捉特征序列中的长程时间依赖。
• 时间位置编码有助于建模时间顺序，从而提升识别准确率。
• 多级特征聚合生成了更鲁棒且更具判别力的时空表征。
• 消融实验证实，外观与运动模块的解耦设计相比联合时空学习能显著提升性能。