[论文解读] Temporal Convolutional Networks for Action Segmentation and Detection

Colin Lea, M. D. Flynn+3 more|arXiv (Cornell University)|Nov 16, 2016

Human Pose and Action Recognition参考文献 27被引用 23

一句话总结

本文提出时间卷积网络（TCNs）用于细粒度动作分割与检测，采用分层时间卷积结合下采样/上采样（ED-TCN）或空洞卷积（Dilated TCN）来建模长程依赖关系。TCNs在准确率上优于基于LSTM的模型，且训练速度超过30倍，已在50 Salads、MERL Shopping和Georgia Tech Egocentric Activities数据集上达到最先进性能。

ABSTRACT

The ability to identify and temporally segment fine-grained human actions throughout a video is crucial for robotics, surveillance, education, and beyond. Typical approaches decouple this problem by first extracting local spatiotemporal features from video frames and then feeding them into a temporal classifier that captures high-level temporal patterns. We introduce a new class of temporal models, which we call Temporal Convolutional Networks (TCNs), that use a hierarchy of temporal convolutions to perform fine-grained action segmentation or detection. Our Encoder-Decoder TCN uses pooling and upsampling to efficiently capture long-range temporal patterns whereas our Dilated TCN uses dilated convolutions. We show that TCNs are capable of capturing action compositions, segment durations, and long-range dependencies, and are over a magnitude faster to train than competing LSTM-based Recurrent Neural Networks. We apply these models to three challenging fine-grained datasets and show large improvements over the state of the art.

研究动机与目标

• 解决在长而复杂的视频中，因动作差异细微而导致的细粒度动作分割与检测挑战。
• 克服现有模型的局限性——如RNN训练缓慢且感受野有限，以及滑动窗口检测器缺乏长程上下文信息。
• 开发一种时间建模框架，高效捕捉片段级属性（如动作持续时间、动作间转换）与长程依赖关系。
• 提出统一的评估指标——分段F1，更准确反映分割与检测任务在真实场景中的表现。
• 证明TCNs在性能上可超越强基线模型（如双向LSTM），且训练速度显著更快。

提出的方法

• 提出两种TCN变体：编码器-解码器TCN（ED-TCN），利用步长大于1的卷积和上采样构建分层长程表征。
• 引入空洞TCN，利用空洞卷积与跳跃连接扩展感受野，同时不增加参数量或计算成本。
• 采用分层架构，每一层使用随核大小或空洞率递增的时间卷积，以捕捉多尺度时间模式。
• 使用门控激活函数（如GPC：tanh(x) ⊙ sigmoid(x)）提升时间动态建模能力与稳定性。
• 在空洞TCN中引入批量归一化与残差跳跃连接，以稳定训练并改善梯度流动。
• 采用端到端训练，基于帧级预测使用交叉熵损失，检测输出通过非极大值抑制后处理。

实验结果

研究问题

• RQ1 纯卷积架构能否有效建模动作分割与检测任务中的长程时间依赖？
• RQ2 在细粒度动作数据集上，TCNs与Bi-LSTM等循环模型相比，在性能与训练效率方面表现如何？
• RQ3 TCNs在多大程度上能捕捉动作持续时间、动作对之间转换等片段级属性？
• RQ4 与基于RNN的模型相比，分层时间卷积是否能有效减少过分割错误？
• RQ5 架构选择（如滤波器长度、空洞率、深度）如何影响TCNs的性能与鲁棒性？

主要发现

• 编码器-解码器TCN（ED-TCN）在所有三个基准数据集（50 Salads、MERL Shopping、Georgia Tech Egocentric Activities）上均优于其他所有模型，包括最先进方法。
• 在50 Salads（中等粒度）上，ED-TCN使用门控像素卷积网络（GPC）激活函数，F1@25得分达到58.4，优于ReLU及其他非线性激活函数。
• 空洞TCN实现128帧的感受野（B=4，L=5），在96帧时性能相当，证明空洞卷积能有效建模长程依赖。
• ED-TCN显著减少了过分割错误，归因于其更长的卷积滤波器能更好地捕捉片段边界。
• ED-TCN训练时间约为每200个周期1分钟（Titan X），而Bi-LSTM需约30分钟，训练速度提升30倍，归因于卷积操作的可并行性。
• ED-TCN在L=2、d=15时达到最优性能，感受野为44帧（52秒），表明其能有效建模长期动作组合。