[论文解读] TFCNet: Temporal Fully Connected Networks for Static Unbiased Temporal Reasoning

Shiwen Zhang|arXiv (Cornell University)|Mar 11, 2022

Human Pose and Action Recognition被引用 4

一句话总结

TFCNet 提出时间全连接模块（TFC Blocks），在三维卷积神经网络的时间维度上近似全连接层，以增强全局时间感受野，显著提升在静态无偏时间推理基准上的性能。该方法在 CATER（98.4% 的 top-1 准确率）和 Diving48（88.3% 的 top-1 准确率）上取得最先进结果，大幅超越 RNN、视觉 Transformer 和先前的 CNN 模型。

ABSTRACT

Temporal Reasoning is one important functionality for vision intelligence. In computer vision research community, temporal reasoning is usually studied in the form of video classification, for which many state-of-the-art Neural Network structures and dataset benchmarks are proposed in recent years, especially 3D CNNs and Kinetics. However, some recent works found that current video classification benchmarks contain strong biases towards static features, thus cannot accurately reflect the temporal modeling ability. New video classification benchmarks aiming to eliminate static biases are proposed, with experiments on these new benchmarks showing that the current clip-based 3D CNNs are outperformed by RNN structures and recent video transformers. In this paper, we find that 3D CNNs and their efficient depthwise variants, when video-level sampling strategy is used, are actually able to beat RNNs and recent vision transformers by significant margins on static-unbiased temporal reasoning benchmarks. Further, we propose Temporal Fully Connected Block (TFC Block), an efficient and effective component, which approximates fully connected layers along temporal dimension to obtain video-level receptive field, enhancing the spatiotemporal reasoning ability. With TFC blocks inserted into Video-level 3D CNNs (V3D), our proposed TFCNets establish new state-of-the-art results on synthetic temporal reasoning benchmark, CATER, and real world static-unbiased dataset, Diving48, surpassing all previous methods.

研究动机与目标

• 解决剪辑级 3D CNN 在静态无偏时间推理基准上的局限性，这些模型因缺乏全局时间建模能力而失效。
• 探究视频级采样策略是否能恢复 3D CNN 在无偏基准上相对于 RNN 和视觉 Transformer 的竞争力。
• 设计一种新颖且高效的组件——TFC Blocks，使 3D CNN 实现全局时间建模，同时避免参数和 FLOP 的过度增长。
• 通过轻量级、端到端可训练的架构，在 CATER 和 Diving48 上建立新的视频级时间推理最先进水平。

提出的方法

• 提出时间全连接模块（TFC Blocks），在时间维度上应用全连接操作，以建模视频特征中的长程依赖关系。
• 将 TFC Blocks 整合到视频级 3D CNN（V3D）及其深度可分离变体中，形成 TFCNets，实现在中间层的全局时间上下文学习。
• 在训练和推理中使用视频级采样策略，确保完整视频上下文被用于特征学习，不同于剪辑级采样。
• 设计 TFC Blocks 时，其参数量随时间长度呈二次增长，但 FLOP 增加极少，具有计算高效性。
• 采用残差瓶颈架构，在空间卷积之后插入 TFC Blocks，以保持空间和时间特征分辨率。
• 在消融研究中将 TFC Blocks 与 SE 和 Nonlocal Blocks 对比，证明其在更低参数量和 FLOP 成本下实现更高准确率。

实验结果

研究问题

• RQ1 使用视频级采样的 3D CNN 是否能在静态无偏时间推理基准上超越 RNN 和视觉 Transformer？
• RQ2 引入类似 TFC Blocks 的全局时间建模机制是否能显著提升 3D CNN 在 CATER 和 Diving48 等基准上的性能？
• RQ3 与 SE 和 Nonlocal Blocks 等现有全局感受野机制相比，TFC Blocks 在准确率、参数量和 FLOPs 方面表现如何？
• RQ4 TFC Blocks 的有效性是否依赖于输入序列长度？若依赖，其增益在何种条件下最为显著？
• RQ5 TFCNets 是否能在不依赖外部数据或标注的情况下实现最先进性能？

主要发现

• TFCNets 在 CATER 基准上达到 98.4% 的 top-1 准确率，超越所有先前方法，包括视觉 Transformer 和使用外部标注的模型。
• 在 Diving48 V2 上，TFCNets 达到 88.3% 的 top-1 准确率，比最佳报告的视觉 Transformer 高 7.3%，比 Diving48 V1 的先前最先进方法高 11.6%。
• 视频级采样策略在准确率上比剪辑级和混合 V4D 采样高出超过 30 个百分点，证实其在全局推理中的优越性。
• 与 Nonlocal Blocks 相比，TFC Blocks 实现了 27 GFLOP 的减少，同时准确率更高，证明其在效率和有效性上的双重优势。
• SE Blocks 在 V3D 上导致性能下降，表明全局平均池化会破坏细粒度时空结构，而 TFC Blocks 能有效保留这些结构。
• TFCNets 的性能提升并非源于参数量增加，因为 TFCNets 仅比基线 V3D 多 0.3 GFLOPs，却实现了显著的准确率提升。