[论文解读] Skeleton based Activity Recognition by Fusing Part-wise Spatio-temporal and Attention Driven Residues

Chhavi Dhiman, Dinesh Kumar Vishwakarma+1 more|arXiv (Cornell University)|Dec 2, 2019

Human Pose and Action Recognition参考文献 50被引用 5

一句话总结

该论文提出了一种新颖的基于骨架的3D动作识别框架 RIAFNet，通过融合局部时空特征与注意力驱动残差，提升了动作识别性能。通过将骨架划分为五个身体部位，并采用结合残差块（ResNet）与多分支卷积（Inception）的混合架构，该方法在 UT-Kinect、Florence 3D 和 MSR Daily Action3D 数据集上实现了最先进（SOTA）的 top-1 准确率。

ABSTRACT

There exist a wide range of intra class variations of the same actions and inter class similarity among the actions, at the same time, which makes the action recognition in videos very challenging. In this paper, we present a novel skeleton-based part-wise Spatiotemporal CNN RIAC Network-based 3D human action recognition framework to visualise the action dynamics in part wise manner and utilise each part for action recognition by applying weighted late fusion mechanism. Part wise skeleton based motion dynamics helps to highlight local features of the skeleton which is performed by partitioning the complete skeleton in five parts such as Head to Spine, Left Leg, Right Leg, Left Hand, Right Hand. The RIAFNet architecture is greatly inspired by the InceptionV4 architecture which unified the ResNet and Inception based Spatio-temporal feature representation concept and achieving the highest top-1 accuracy till date. To extract and learn salient features for action recognition, attention driven residues are used which enhance the performance of residual components for effective 3D skeleton-based Spatio-temporal action representation. The robustness of the proposed framework is evaluated by performing extensive experiments on three challenging datasets such as UT Kinect Action 3D, Florence 3D action Dataset, and MSR Daily Action3D datasets, which consistently demonstrate the superiority of our method

研究动机与目标

• 解决从骨架序列进行人体动作识别时存在的类内差异与类间相似性挑战。
• 通过骨架的局部分解建模局部运动动态，以提升识别性能。
• 通过将注意力驱动残差整合到时空卷积神经网络架构中，增强特征表示能力。
• 构建一个在具有不同运动复杂度与视角变化的多样化 3D 动作数据集上具有良好泛化能力的框架。

提出的方法

• 将 3D 骨架划分为五个解剖学部位：头至脊柱、左腿、右腿、左手和右手，以实现局部化的时空特征学习。
• 设计 RIAFNet，一种受 InceptionV4 启发的混合架构，结合残差块（ResNet）与多分支卷积（Inception），以实现高效的 3D 时空特征提取。
• 引入注意力驱动残差，动态强调骨架随时间变化的显著运动模式，提升特征判别能力。
• 采用加权晚期融合机制聚合各部位特征，根据其对动作类别预测的贡献程度，优先选择更具信息量的身体部位。
• 利用 3D 卷积层捕捉骨架序列中关节坐标的空间与时间依赖关系。
• 使用交叉熵损失与随机梯度下降进行网络训练，优化基准数据集上的 top-1 与 top-5 准确率。

实验结果

研究问题

• RQ1 基于部位的时空特征学习是否能提升骨架动作识别的准确率？
• RQ2 注意力驱动残差的整合在增强 3D 骨架判别性特征表示方面有多有效？
• RQ3 与全局特征聚合相比，基于部位的加权晚期融合是否能带来更好的性能？
• RQ4 所提出的 RIAFNet 架构是否能在具有不同运动动态的多样化 3D 动作数据集上实现良好泛化？
• RQ5 各身体部位（如手部与腿部）对最终动作识别性能的贡献如何？

主要发现

• 所提出的 RIAFNet 在 UT-Kinect Action 3D 数据集上实现了迄今为止报告的最高 top-1 准确率，优于先前的最先进方法。
• 在 Florence 3D 动作数据集上，该模型表现出一致的性能提升，尤其在区分细微运动差异的动作时表现突出。
• 在 MSR Daily Action3D 数据集上，该方法取得了优异结果，证实了其在具有多样化动作类别与运动模式的数据集上的鲁棒性。
• 消融实验表明，基于部位的特征提取与注意力驱动残差均对性能提升有显著贡献。
• 加权晚期融合机制有效优先选择了信息量更高的身体部位，如手部与腿部，这些部位在动作判别中起关键作用。
• 注意力机制成功突出了显著的运动模式，尤其在涉及精细手势或快速肢体运动的动作中表现优异。