[论文解读] RED: Reinforced Encoder-Decoder Networks for Action Anticipation

Jiyang Gao, Zhenheng Yang+1 more|arXiv (Cornell University)|Jul 16, 2017

Human Pose and Action Recognition参考文献 14被引用 23

一句话总结

本文提出RED，一种用于动作预测的强化编码器-解码器网络，通过利用多个历史帧表示来预测未来视觉特征序列。通过将强化学习与序列级监督相结合——奖励早期且准确的预测——RED在TVSeries、THUMOS-14和TV-Human-Interaction数据集上实现了最先进性能。

ABSTRACT

Action anticipation aims to detect an action before it happens. Many real world applications in robotics and surveillance are related to this predictive capability. Current methods address this problem by first anticipating visual representations of future frames and then categorizing the anticipated representations to actions. However, anticipation is based on a single past frame's representation, which ignores the history trend. Besides, it can only anticipate a fixed future time. We propose a Reinforced Encoder-Decoder (RED) network for action anticipation. RED takes multiple history representations as input and learns to anticipate a sequence of future representations. One salient aspect of RED is that a reinforcement module is adopted to provide sequence-level supervision; the reward function is designed to encourage the system to make correct predictions as early as possible. We test RED on TVSeries, THUMOS-14 and TV-Human-Interaction datasets for action anticipation and achieve state-of-the-art performance on all datasets.

研究动机与目标

• 解决现有动作预测方法依赖单帧历史和固定时间预测的局限性。
• 通过建模多个历史视觉表示的时间趋势，提升动作预测性能。
• 实现连续的多步未来表示预测，而非固定时间点的预测。
• 通过强化学习联合优化预测序列，鼓励早期且正确的预测。
• 在动作预测和在线动作检测基准数据集上均实现最先进性能。

提出的方法

• RED网络采用编码器-解码器架构，以过去视觉表示序列作为输入，输出未来表示序列。
• 编码器使用CNN或双流网络处理视觉特征历史，解码器则逐步生成未来表示。
• 引入强化学习模块以提供序列级监督，其奖励函数对延迟或错误预测进行惩罚，对早期正确预测进行奖励。
• 模型采用两阶段训练：首先使用交叉熵和均方误差损失进行动作分类与表示预测，然后通过强化学习奖励进行微调。
• 奖励函数旨在最大化整个未来序列中正确预测的累积回报，促进更早、更准确的预测。
• 使用两种视觉特征：双流光流与RGB特征，以及VGG-16特征，以评估鲁棒性与性能。

实验结果

研究问题

• RQ1 与单帧历史编码相比，通过多帧历史建模时间趋势是否能提升动作预测性能？
• RQ2 通过强化学习实现的序列级优化是否能带来比标准贪婪优化更早、更准确的动作预测？
• RQ3 统一的编码器-解码器框架是否能有效预测未来表示序列，而非单一固定时间点的预测？
• RQ4 所提出的RED模型在动作预测和在线动作检测设置下，与最先进方法相比表现如何？
• RQ5 强化学习模块在不同数据集上在多大程度上提升了泛化能力和早期预测能力？

主要发现

• RED在TVSeries数据集上达到最先进性能，使用双流特征在0.25秒预测时间下取得79.2%的cAP，显著优于之前最先进方法。
• 在THUMOS-14上，RED在0.25秒预测时间下达到每帧45.3%的mAP，较之前最佳方法（MultiLSTM）高出4.0个百分点。
• 强化学习模块在TVSeries和THUMOS-14上所有预测时间（0.25秒至2.0秒）均持续提升性能，证明了序列级优化的有效性。
• 消融实验表明，结合强化学习的RED架构在TVSeries上比基线编码器-解码器（ED）模型最高提升1.5%的cAP，在THUMOS-14上提升1.5%的mAP。
• 结果表明，多帧历史编码与序列级强化学习监督的结合显著提升了预测准确性和及时性。
• 模型在在线动作检测（其中$T_a = 0$）上的性能也达到最先进水平，证实了其在不同预测设置下的泛化能力。