[论文解读] RGB Video Based Tennis Action Recognition Using a Deep Weighted Long Short-Term Memory.

Jiaxin Cai, Xin Tang|arXiv (Cornell University)|Aug 2, 2018

Human Pose and Action Recognition参考文献 11被引用 4

一句话总结

本文提出了一种基于RGB视频的新型网球动作识别方法，结合预训练的Inception CNN特征与深度加权长短期记忆（LSTM）网络。通过利用单帧图像的空间CNN表征以及用于建模时序依赖关系的得分加权LSTM解码器，该方法仅使用原始RGB视频输入，即在基准数据集上实现了最先进（SOTA）的性能表现。

ABSTRACT

Action recognition has attracted increasing attention from RGB input in computer vision partially due to potential applications on somatic simulation and statistics of sport such as virtual tennis game and tennis techniques and tactics analysis by video. Recently, deep learning based methods have achieved promising performance for action recognition. In this paper, we propose weighted Long Short-Term Memory adopted with convolutional neural network representations for three dimensional tennis shots recognition. First, the local two-dimensional convolutional neural network spatial representations are extracted from each video frame individually using a pre-trained Inception network. Then, a weighted Long Short-Term Memory decoder is introduced to take the output state at time t and the historical embedding feature at time t-1 to generate feature vector using a score weighting scheme. Finally, we use the adopted CNN and weighted LSTM to map the original visual features into a vector space to generate the spatial-temporal semantical description of visual sequences and classify the action video content. Experiments on the benchmark demonstrate that our method using only simple raw RGB video can achieve better performance than the state-of-the-art baselines for tennis shot recognition.

研究动机与目标

• 通过仅使用RGB视频输入，提升网球视频中的动作识别性能。
• 解决在视频序列中建模长程时序依赖关系以实现准确击球分类的挑战。
• 开发一种时空表征学习框架，以捕捉空间特征与序列动态。
• 在基准数据集上，相比现有最先进方法，实现更优的性能表现。

提出的方法

• 使用预训练的Inception网络从每个视频帧中提取空间特征，以获得2D CNN表征。
• 采用加权长短期记忆（LSTM）解码器，利用当前状态和历史嵌入生成上下文感知的特征向量。
• 加权LSTM通过得分加权方案，在序列建模过程中动态分配对历史隐藏状态的重要性。
• CNN与加权LSTM架构的结合，将视觉特征映射到联合时空向量空间，用于动作分类。
• 模型训练目标是基于原始RGB视频序列对三维网球击球进行分类。

实验结果

研究问题

• RQ1 结合CNN特征的加权LSTM能否有效建模网球视频序列中的时序动态以实现动作识别？
• RQ2 在RGB视频网球击球识别任务中，所提方法与最先进方法相比，准确率表现如何？
• RQ3 仅使用原始RGB视频，不依赖光流或额外模态输入，能实现多高的性能表现？
• RQ4 LSTM中的得分加权机制是否相比标准LSTM架构能提升特征表征学习能力？

主要发现

• 所提方法在网球击球识别的基准数据集上，性能优于最先进基线方法。
• 该模型仅使用原始RGB视频即展现出强大的泛化能力，无需光流或额外输入模态。
• 将预训练的Inception特征与加权LSTM结合，可有效提升时空特征表征学习能力。
• LSTM中的得分加权机制通过选择性关注相关历史状态，增强了时序建模能力。