[论文解读] Real-time 3D human action recognition based on Hyperpoint sequence

Xing Li, Qian Huang+4 more|arXiv (Cornell University)|Nov 16, 2021

Human Pose and Action Recognition被引用 5

一句话总结

本文提出SequentialPointNet，一种用于实时3D人体动作识别的帧级并行点云序列网络。通过将点云帧展平为超点序列，并使用一种新型的超点混合模块，该模块将帧内通道混合与帧间混合分离，该方法在保持SOTA精度的同时，将推理速度相比之前模型提升了高达10倍，在NTU RGB+D 60、NTU RGB+D 120、MSR Action3D和UTD-MHAD数据集上均超越了当前最先进水平。

ABSTRACT

Real-time 3D human action recognition has broad industrial applications, such as surveillance, human-computer interaction, and healthcare monitoring. By relying on complex spatio-temporal local encoding, most existing point cloud sequence networks capture spatio-temporal local structures to recognize 3D human actions. To simplify the point cloud sequence modeling task, we propose a lightweight and effective point cloud sequence network referred to as SequentialPointNet for real-time 3D action recognition. Instead of capturing spatio-temporal local structures, SequentialPointNet encodes the temporal evolution of static appearances to recognize human actions. Firstly, we define a novel type of point data, Hyperpoint, to better describe the temporally changing human appearances. A theoretical foundation is provided to clarify the information equivalence property for converting point cloud sequences into Hyperpoint sequences. Secondly, the point cloud sequence modeling task is decomposed into a Hyperpoint embedding task and a Hyperpoint sequence modeling task. Specifically, for Hyperpoint embedding, the static point cloud technology is employed to convert point cloud sequences into Hyperpoint sequences, which introduces inherent frame-level parallelism; for Hyperpoint sequence modeling, a Hyperpoint-Mixer module is designed as the basic building block to learning the spatio-temporal features of human actions. Extensive experiments on three widely-used 3D action recognition datasets demonstrate that the proposed SequentialPointNet achieves competitive classification performance with up to 10X faster than existing approaches.

研究动机与目标

• 为解决现有点云序列模型在3D动作识别中效率低下和计算成本过高的问题。
• 在实现高效、可并行处理的同时，完整保留点云序列中的空间和时间信息。
• 开发一种轻量化、高速的架构，在保持或超越当前最先进识别精度的同时实现高性能。
• 将空间特征学习与时间特征学习解耦，以提升3D动作识别中的表征学习能力。

提出的方法

• 使用基于PointNet的共享可学习超点嵌入模块，将每个点云帧展平为超点。
• 引入一种新型数据类型——超点序列，以保留序列中每一帧的完整空间结构。
• 设计一种超点混合模块，显式分离帧内通道混合与帧间帧混合。
• 将帧混合操作置于特征混合流水线的末尾，以实现帧级并行。
• 将主要建模操作划分为可并行执行的帧级单元，消除帧间计算依赖。
• 采用多尺度金字塔特征提取策略，2层配置在性能与效率之间达到最优平衡。

实验结果

研究问题

• RQ1 帧级并行架构是否能显著提升3D动作识别中的推理速度，同时不损失精度？
• RQ2 超点序列表示在保留空间和时间信息以支持动作识别方面是否有效？
• RQ3 分离空间与时间特征混合是否能提升模型性能和训练效率？
• RQ4 在精度与计算成本之间实现平衡时，金字塔层数和点云帧数的最优配置是什么？
• RQ5 与现有最先进点云序列模型相比，所提方法在速度和精度方面表现如何？

主要发现

• SequentialPointNet相比现有点云序列模型实现10倍加速，单张GPU上每条序列的推理时间仅需5毫秒。
• 在NTU RGB+D 60数据集上，模型达到97.6%的跨视角精度，优于先前最先进方法。
• 在NTU RGB+D 120数据集上，其跨设置精度达到95.4%，展现出在不同摄像机设置下的强大泛化能力。
• 在MSR Action3D数据集上达到91.94%的跨主体精度，在UTD-MHAD数据集上达到92.31%，证实了其在多样化动作识别基准上的鲁棒性。
• 在所有对比方法中，该模型参数量最轻，仅372万个参数，显著少于MeteorNet、P4Transformer和PSTNet。
• 消融实验表明，2层金字塔结构和20帧配置可获得最优性能，且在帧数超过20后精度趋于稳定。