[论文解读] Temporal Interlacing Network

Hao Shao, Shengju Qian+1 more|arXiv (Cornell University)|Jan 17, 2020

Human Pose and Action Recognition参考文献 29被引用 11

一句话总结

本文提出时序交错网络（TIN），一种轻量级、可微分模块，通过学习在时间维度上交错表示来融合空间与时序特征，替代复杂的时序模型。TIN在六个基准测试中实现4%更高的准确率，同时将延迟降低6倍，创下视频理解任务的新SOTA性能，包括在ICCV19多时刻在时间挑战赛中获得第一名。

ABSTRACT

For a long time, the vision community tries to learn the spatio-temporal representation by combining convolutional neural network together with various temporal models, such as the families of Markov chain, optical flow, RNN and temporal convolution. However, these pipelines consume enormous computing resources due to the alternately learning process for spatial and temporal information. One natural question is whether we can embed the temporal information into the spatial one so the information in the two domains can be jointly learned once-only. In this work, we answer this question by presenting a simple yet powerful operator -- temporal interlacing network (TIN). Instead of learning the temporal features, TIN fuses the two kinds of information by interlacing spatial representations from the past to the future, and vice versa. A differentiable interlacing target can be learned to control the interlacing process. In this way, a heavy temporal model is replaced by a simple interlacing operator. We theoretically prove that with a learnable interlacing target, TIN performs equivalently to the regularized temporal convolution network (r-TCN), but gains 4% more accuracy with 6x less latency on 6 challenging benchmarks. These results push the state-of-the-art performances of video understanding by a considerable margin. Not surprising, the ensemble model of the proposed TIN won the $1^{st}$ place in the ICCV19 - Multi Moments in Time challenge. Code is made available to facilitate further research at https://github.com/deepcs233/TIN

研究动机与目标

• 为解决现有时空视频识别模型在空间与时序特征学习之间交替进行所导致的高计算成本问题。
• 探究是否可通过统一的轻量级操作符联合学习时序与空间信息。
• 设计一种简单但高效的模块，以替代RNN或3D卷积等复杂的时序建模组件。
• 在极低FLOPs和参数量下实现视频分类任务的SOTA性能。

提出的方法

• TIN将输入特征图划分为若干组，并学习不同时间帧之间的空间偏移量，以实现特征交错。
• 通过可微分的位移与插值操作，直接在特征空间中融合时序表示。
• 利用分组可学习权重聚合交错后的特征，实现自适应的时序建模。
• 交错过程是可微分的，支持端到端优化，从而实现空间与时序表示的联合学习。
• 理论上证明TIN等价于正则化的时序卷积网络（r-TCN），为其表征能力提供理论支持。
• 该结构可即插即用，保持输入的空间维度，并仅引入极少的计算开销。

实验结果

研究问题

• RQ1 是否可通过单一统一的操作符联合学习时序与空间特征，从而降低计算成本？
• RQ2 可学习的交错机制是否足以替代RNN或3D卷积等重型时序建模组件？
• RQ3 所提出的TIN模块在视频识别任务中是否能达到或超越现有SOTA方法的性能？
• RQ4 分组数量与反向偏移的使用如何影响模型捕捉长程时序依赖的能力？

主要发现

• 在六个具有挑战性的视频理解基准上，TIN比之前SOTA方法高出4%的准确率。
• 与之前SOTA相比，TIN将推理延迟降低6倍，同时保持或提升了准确率。
• TIN结合8帧与16帧输入的集成模型在ICCV19多时刻在时间挑战赛中获得第一名。
• 在Something-Something v2数据集上，TIN达到60.1%的top-1准确率，优于TSM并接近SOTA水平。
• 消融实验表明，使用2组并结合反向偏移可获得最佳性能，表明在表征能力与训练稳定性之间达到最优平衡。
• 可视化结果表明，深层网络学习到更大的时序偏移，说明高层特征更受益于时序交错机制。