[论文解读] On Encoding Temporal Evolution for Real-time Action Prediction

Dana Rezazadegan, Sareh Shirazi+2 more|arXiv (Cornell University)|Sep 22, 2017

Human Pose and Action Recognition被引用 5

一句话总结

本文提出了一种新颖的方法，通过动态图像（DIs）对未来的视频帧中移动像素的时序演化进行编码，实现实时人类动作预测。利用无监督卷积LSTM预测后续DIs，并从中识别动作，该方法在三个基准数据集上实现了最先进（SOTA）的准确率，即使在复杂动作场景下也表现出色。

ABSTRACT

Anticipating future actions is a key component of intelligence, specifically when it applies to real-time systems, such as robots or autonomous cars. While recent works have addressed prediction of raw RGB pixel values, we focus on anticipating the motion evolution in future video frames. To this end, we construct dynamic images (DIs) by summarising moving pixels through a sequence of future frames. We train a convolutional LSTMs to predict the next DIs based on an unsupervised learning process, and then recognise the activity associated with the predicted DI. We demonstrate the effectiveness of our approach on 3 benchmark action datasets showing that despite running on videos with complex activities, our approach is able to anticipate the next human action with high accuracy and obtain better results than the state-of-the-art methods.

研究动机与目标

• 实现实时动态视频序列中未来人类动作的预测。
• 建模运动的时序演化，而非原始像素变化。
• 开发一种可在真实世界视频中跨复杂、多样的动作泛化的模型。
• 通过新型表示捕捉运动动态，提升预测准确率。
• 在无监督训练范式下实现最先进性能。

提出的方法

• 通过聚合未来视频帧序列中的移动像素，构建动态图像（DIs），以编码运动演化。
• 使用无监督方式训练卷积LSTM网络，从过去DIs序列中预测下一个DIs。
• 将预测的DIs作为分类头的输入，用于识别未来动作。
• 利用DIs中的时空特征，建模长距离运动依赖关系。
• 通过重建损失端到端训练模型，以学习有意义的运动表征。
• 在标注动作类别上微调动作识别头，用于推理。

实验结果

研究问题

• RQ1 动态图像能否有效编码人类动作的时序演化，以实现未来动作预测？
• RQ2 在DIs上对卷积LSTM进行无监督训练，是否能生成对动作预判有意义的运动表征？
• RQ3 在复杂视频数据集上，该方法在实时动作预测方面与最先进方法相比表现如何？
• RQ4 该模型在多样化和复杂人类动作上的泛化能力有多强？
• RQ5 该模型能否在训练阶段不依赖大规模动作标注的情况下实现高准确率的动作预判？

主要发现

• 所提方法在三个基准动作识别数据集上实现了最先进性能，动作预判准确率优于现有方法。
• 该模型在真实世界视频序列中复杂多样的人类动作上表现出强大的泛化能力。
• 在动态图像上进行无监督预训练，可有效学习运动表征，提升下游动作预测性能。
• 使用DIs作为运动表征，比直接预测原始像素更能有效捕捉时空动态。
• 该方法保持了实时推理能力，适用于机器人和自主系统中的部署。
• 该方法对动作速度和场景复杂度的变化表现出鲁棒性，各数据集上性能保持一致。