[论文解读] Temporal Recurrent Networks for Online Action Detection

Mingze Xu, Mingfei Gao+3 more|arXiv (Cornell University)|Nov 18, 2018

Human Pose and Action Recognition参考文献 46被引用 17

一句话总结

该论文提出时间循环网络（TRN），一种新颖的端到端在线动作检测框架，通过联合建模历史视频上下文和预测的未来动作状态，以提升实时动作识别性能。通过在训练过程中引入未来预测，TRN 学习到更具判别性的表征，在 HDD、TVSeries 和 THUMOS'14 数据集上取得最先进性能，尤其在早期动作检测阶段表现显著。

ABSTRACT

Most work on temporal action detection is formulated as an offline problem, in which the start and end times of actions are determined after the entire video is fully observed. However, important real-time applications including surveillance and driver assistance systems require identifying actions as soon as each video frame arrives, based only on current and historical observations. In this paper, we propose a novel framework, Temporal Recurrent Network (TRN), to model greater temporal context of a video frame by simultaneously performing online action detection and anticipation of the immediate future. At each moment in time, our approach makes use of both accumulated historical evidence and predicted future information to better recognize the action that is currently occurring, and integrates both of these into a unified end-to-end architecture. We evaluate our approach on two popular online action detection datasets, HDD and TVSeries, as well as another widely used dataset, THUMOS'14. The results show that TRN significantly outperforms the state-of-the-art.

研究动机与目标

• 为解决在监控和驾驶员辅助等应用场景中实时在线动作检测的挑战，这些场景在测试时仅能访问当前和过去帧。
• 探究在训练过程中显式建模未来动作预测是否能提升在线设置中当前动作识别的性能。
• 开发一种统一的端到端深度学习框架，利用历史证据和预测的未来信息，实现更优的时间动作检测。
• 评估该方法在早期动作检测和动作预测中的有效性，证明其在检测任务之外的泛化能力。

提出的方法

• TRN 使用双分支循环架构，同时处理历史视频帧并预测未来动作，将两路信息整合为统一表征。
• 该模型采用带有门控循环单元（GRUs）的时间循环网络，以编码过去和未来上下文中的长程时间依赖关系。
• 通过独立的解码头执行未来动作预测，生成未来时间步的动作预测结果，随后用于优化当前动作识别。
• 框架采用端到端训练，使用联合损失函数同时优化当前动作检测和未来动作预测任务。
• 该方法具备良好的泛化能力，支持多模态输入，包括视觉和非视觉传感器数据，已在 HDD 驾驶数据集上得到验证。
• 模型采用固定数量的未来时间步（例如 2 秒）进行预测，超参数在各数据集上经过调优以实现最佳性能。

实验结果

研究问题

• RQ1 在训练过程中预测未来动作是否能提升实时设置中在线动作检测的准确性？
• RQ2 将未来预测结果融入识别过程是否能带来更鲁棒且更具判别性的正在进行动作的表征？
• RQ3 当仅观察到动作的极小部分时，模型性能如何，特别是在早期检测场景下？
• RQ4 同一架构在训练用于在线检测的同时，是否也能在动作预测任务中取得优异表现？

主要发现

• 在 TVSeries 数据集上，TRN 达到 75.7% 的 cAP，显著优于之前最先进方法（75.1%），且在相同评估协议下。
• 在 HDD 数据集上，TRN 达到 40.8% 的 cAP，超过之前最先进方法的 39.9%。
• TRN 在早期动作检测阶段表现出显著提升，性能差距从 TVSeries 上 100% 观测时的 6.5% 增加到 10% 观测时的 11.8%。
• 在动作预测任务中，TRN 在 THUMOS’14 上达到 38.9% 的 mAP，在 HDD 上于 2 秒未来窗口内达到 32.2%，优于先前方法。
• 该模型在不同解码步数下均保持强性能，HDD 的最优值为 ℓd = 6，TVSeries 和 THUMOS’14 的最优值为 ℓd = 8。
• 消融实验表明，当未来步数超过某一阈值后，性能因噪声增加而下降，表明预测准确率存在权衡。