[论文解读] Temporal Memory Attention for Video Semantic Segmentation

Hao Wang, Ning Wang+1 more|arXiv (Cornell University)|Feb 17, 2021

Advanced Vision and Imaging参考文献 21被引用 9

一句话总结

本文提出了一种基于时间记忆注意力网络（TMANet）的新方法，这是一种非基于光流的视频语义分割方法，通过利用过去帧的记忆和自注意力机制来建模长时序依赖关系。通过自适应聚合来自先前帧的相关特征，TMANet在Cityscapes数据集上实现了80.3%的mIoU，在CamVid数据集上实现了76.5%的mIoU（使用ResNet-50），性能达到当前最先进水平，且计算成本更低。

ABSTRACT

Video semantic segmentation requires to utilize the complex temporal relations between frames of the video sequence. Previous works usually exploit accurate optical flow to leverage the temporal relations, which suffer much from heavy computational cost. In this paper, we propose a Temporal Memory Attention Network (TMANet) to adaptively integrate the long-range temporal relations over the video sequence based on the self-attention mechanism without exhaustive optical flow prediction. Specially, we construct a memory using several past frames to store the temporal information of the current frame. We then propose a temporal memory attention module to capture the relation between the current frame and the memory to enhance the representation of the current frame. Our method achieves new state-of-the-art performances on two challenging video semantic segmentation datasets, particularly 80.3% mIoU on Cityscapes and 76.5% mIoU on CamVid with ResNet-50.

研究动机与目标

• 为解决在不依赖昂贵光流预测的前提下建模视频语义分割中长时序依赖关系的挑战。
• 通过自适应注意力机制利用多帧过去帧的时间上下文信息，提升分割精度。
• 与基于光流的方法相比，降低计算开销，同时保持或提升性能。
• 将记忆网络与自注意力机制引入视频语义分割，这是该领域的一项新应用。

提出的方法

• 该方法从多个过去的未标注帧构建一个记忆库，以存储当前查询帧的时间上下文信息。
• 共享主干网络从当前帧和记忆帧中提取特征。
• 时间记忆注意力模块计算查询特征与记忆键/值之间的交叉注意力，以增强当前帧的表征。
• 该模块使用查询-键-值注意力机制，动态关注记忆中相关的时空特征。
• 将当前帧的特征与增强后的记忆特征拼接，并通过分割头进行像素级分类。
• 模型使用交叉熵损失进行训练，并在编码层中采用1x1和3x3卷积的多尺度特征聚合策略。

Fig. 1 : An example of the behavior of TMANet. It collects related information from the previous frames to enhance the representation of the current frame. The orange arrows represent the highly related positions between the frames.

实验结果

研究问题

• RQ1 记忆增强的自注意力机制是否能在不使用光流的情况下有效建模视频语义分割中的长时序依赖关系？
• RQ2 过去帧的选择策略（随机选择 vs. 连续选择）如何影响性能和特征表示？
• RQ3 为在性能与计算成本之间取得平衡，记忆中应包含多少帧过去帧为最佳？
• RQ4 特征聚合方式（拼接 vs. 相加）如何影响分割精度？
• RQ5 基于记忆的注意力机制是否能在准确率和效率方面超越现有的基于光流和非基于光流的方法？

主要发现

• TMANet在Cityscapes验证集上达到80.3%的mIoU，使用ResNet-50时创下新的最先进性能记录。
• 在CamVid数据集上，该方法实现了76.5%的mIoU，同样超越了先前方法。
• 连续帧选择策略优于随机选择，可能是因为记忆中具有更强的局部时序一致性。
• 特征拼接优于特征相加，因为其能保留更多通道维度的信息。
• 在编码模块中结合使用1x1和3x3卷积层可获得最佳结果，优于单一卷积层配置。
• 该模型仅需754 GFLOPs的计算量，显著低于许多先前基于光流的方法，性能却更优。

Fig. 2 : Illustration of our proposed TMANet. We select $T$ frames from a given video as the memory sequence. The current frame and memory sequence are fed into a shared backbone to extract features. The encoding layers further embed the features to keys and values. The Temporal Memory Attention mod