[论文解读] Space-Time Domain Tensor Neural Networks: An Application on Human Pose Recognition.

Konstantinos Makantasis, Athanasios Voulodimos+3 more|arXiv (Cornell University)|Apr 17, 2020

Human Pose and Action Recognition被引用 2

一句话总结

本文提出了一种用于人体姿态识别的时空域张量神经网络，利用新颖的输入层进行时空特征提取，通过张量融合实现紧凑的表征学习，并以张量形式进行端到端训练。该模型以极少的参数量实现了最先进性能，适用于数据稀缺场景。

ABSTRACT

Recent advances in sensing technologies require the design and development of pattern recognition models capable of processing spatiotemporal data efficiently. In this work, we propose a spatially and temporally aware tensor-based neural network for human pose recognition using three-dimensional skeleton data. Our model employs three novel components. First, an input layer capable of constructing highly discriminative spatiotemporal features. Second, a tensor fusion operation that produces compact yet rich representations of the data, and third, a tensor-based neural network that processes data representations in their original tensor form. Our model is end-to-end trainable and characterized by a small number of trainable parameters making it suitable for problems where the annotated data is limited. Experimental validation of the proposed model indicates that it can achieve state-of-the-art performance. Although in this study, we consider the problem of human pose recognition, our methodology is general enough to be applied to any pattern recognition problem spatiotemporal data from sensor networks.

研究动机与目标

• 为解决在人体姿态识别中高效处理3D骨骼序列时空数据的挑战。
• 设计一种神经网络架构，以在整个处理过程中保持时空数据的固有张量结构。
• 降低模型复杂度与参数量，以提升在低数据量场景下的性能。
• 通过张量融合实现在保持高表征能力的同时支持端到端可训练学习。
• 开发一种可泛化的框架，适用于其他来自传感器网络的时空模式识别任务。

提出的方法

• 该模型使用专用的输入层，直接从3D骨骼序列构建高度判别性的时空特征。
• 张量融合操作将多模态或多尺度的张量表示融合为紧凑且丰富的低秩表示。
• 核心网络使用基于张量的操作以原生张量形式处理数据，避免向量化，从而保留空间与时间结构。
• 该架构支持端到端训练，实现特征学习与表征融合的联合优化。
• 通过利用低秩张量分解与结构化参数共享，使模型仅使用少量可训练参数。
• 该框架设计为可扩展，可应用于除人体姿态识别外的其他传感器网络时空数据。

实验结果

研究问题

• RQ1 基于张量的神经网络架构能否有效捕捉3D骨骼序列中的人体姿态识别的时空依赖性？
• RQ2 与传统的特征拼接方法相比，所提出的张量融合机制在表征紧凑性与判别性方面有何改进？
• RQ3 在整个网络中保持张量结构在降低参数量的同时，对准确率的影响如何？
• RQ4 由于参数效率高，该模型在低数据量场景下是否具有良好的泛化能力？
• RQ5 所提出的方法是否可扩展至其他来自传感器网络的时空模式识别任务？

主要发现

• 所提出的模型在基于3D骨骼数据的人体姿态识别基准上实现了最先进性能。
• 该模型在可训练参数极少的情况下展现出强大的泛化能力，适用于标注数据有限的场景。
• 张量融合操作有效捕捉了复杂的时空模式，同时保持了紧凑的表征。
• 以张量形式进行端到端训练相比向量化方法，更有效地保留了结构信息并提升了学习效率。
• 该架构具有可泛化性，可应用于其他来自传感器网络的时空模式识别任务。
• 在标准人体姿态识别数据集上，该模型在准确率与参数效率方面均优于现有方法。