[论文解读] Temporal Convolutional Networks: A Unified Approach to Action Segmentation

Colin Lea, Renè Vidal+2 more|arXiv (Cornell University)|Aug 29, 2016

Human Pose and Action Recognition参考文献 14被引用 17

一句话总结

本文提出时序卷积网络（TCN），一种统一的深度学习框架，通过一维卷积、池化和通道归一化，分层捕捉视频和传感器数据中的低、中、高层次时序关系，用于动作分割。TCN在三个公开数据集——50 Salads、GTEA 和 JIGSAWS 上实现了最先进或具有竞争力的性能，同时训练速度比基于 RNN 的模型快达 60 倍。

ABSTRACT

The dominant paradigm for video-based action segmentation is composed of two steps: first, for each frame, compute low-level features using Dense Trajectories or a Convolutional Neural Network that encode spatiotemporal information locally, and second, input these features into a classifier that captures high-level temporal relationships, such as a Recurrent Neural Network (RNN). While often effective, this decoupling requires specifying two separate models, each with their own complexities, and prevents capturing more nuanced long-range spatiotemporal relationships. We propose a unified approach, as demonstrated by our Temporal Convolutional Network (TCN), that hierarchically captures relationships at low-, intermediate-, and high-level time-scales. Our model achieves superior or competitive performance using video or sensor data on three public action segmentation datasets and can be trained in a fraction of the time it takes to train an RNN.

研究动机与目标

• 为解决传统两阶段范式在动作分割中的局限性，该范式将低层特征提取与高层时序建模分离。
• 通过单一深度学习架构统一建模多时间尺度的时空特征。
• 在显著减少训练时间的前提下，提升动作分割任务的性能，相比基于 RNN 的模型。
• 实现在包括视频和第一人称传感器数据在内的多种模态下的鲁棒动作分割。
• 证明通过一维卷积实现的分层时序建模可优于或匹配 RNN 和 CRF，在捕捉长程依赖关系方面表现更优。

提出的方法

• TCN 采用基于一维卷积、池化和通道归一化的编码器-解码器架构，以学习分层时序表征。
• 每一层应用具有可学习权重的一维卷积滤波器，以建模特征在时间步上的时序演化。
• 使用池化层对特征进行下采样，高效捕捉多尺度下的长程时序模式。
• 应用通道归一化以稳定训练过程，并提升在不同环境条件下的鲁棒性。
• 模型处理每一帧的原始数据或 CNN 编码特征，输出具有时序一致性的逐帧动作预测。
• 采用标准反向传播进行端到端训练，避免序列递归，支持并行计算。

实验结果

研究问题

• RQ1 是否能够通过统一的深度学习框架，在不依赖 RNN 或 CRF 的情况下，有效建模动作分割中的多尺度时序依赖？
• RQ2 通过一维卷积实现的分层时序建模与传统两阶段方法相比，在准确率和训练效率方面表现如何？
• RQ3 TCN 在从原始传感器或视频特征中学习有意义的时序偏移和长程模式方面，能力达到何种程度？
• RQ4 TCN 缺乏循环连接，是否导致其泛化能力更强或过分割现象更少，相比 RNN？
• RQ5 TCN 是否能在不同传感模态（如视频和第一人称加速度计）上实现一致的性能表现并具备良好的泛化能力？

主要发现

• 在 50 Salads 数据集上，TCN 使用传感器数据实现了 65.6 的编辑分数和 82.0% 的准确率，优于 LSTM（54.5 编辑分数，73.3% 准确率）和 LC-SC-CRF（50.2 编辑分数，77.8% 准确率）。
• 在 GTEA 数据集上，TCN 使用视频数据实现了 58.8 的编辑分数和 66.1% 的准确率，优于 ST-CNN（53.4 编辑分数，64.5% 准确率），并匹配或超越先前最先进方法。
• 在 JIGSAWS 数据集上，TCN 使用传感器数据实现了 85.8 的编辑分数和 79.6% 的准确率，优于双向 LSTM（81.1 编辑分数，83.3% 准确率）及其他基线模型。
• TCN 在 Nvidia Titan X 上每折训练时间约为一分钟，而 RNN-LSTM 约需一小时，训练速度提升约 60 倍。
• 可视化结果表明，TCN 层学习到了时序偏移，使模型能够仅凭原始传感器输入难以区分的动作之间做出有效区分。
• 尽管未使用显式循环连接或基于 CRF 的转移建模，TCN 在所有数据集上均表现出更低的过分割现象，表现为显著更高的编辑分数。