[论文解读] SeqFormer: Sequential Transformer for Video Instance Segmentation

Junfeng Wu, Yi Jiang+3 more|arXiv (Cornell University)|Dec 15, 2021

Video Analysis and Summarization被引用 6

一句话总结

SeqFormer 提出一种用于视频实例分割的序列化 Transformer 架构，通过使用帧特定的实例查询来跨时间关注运动物体，实现无需追踪分支的端到端掩码和边界框预测。在使用 ResNet-101 时，其在 YouTube-VIS 上达到 49.0 AP，在使用 Swin Transformer 时达到 59.3 AP，显著优于先前方法。

ABSTRACT

In this work, we present SeqFormer for video instance segmentation. SeqFormer follows the principle of vision transformer that models instance relationships among video frames. Nevertheless, we observe that a stand-alone instance query suffices for capturing a time sequence of instances in a video, but attention mechanisms shall be done with each frame independently. To achieve this, SeqFormer locates an instance in each frame and aggregates temporal information to learn a powerful representation of a video-level instance, which is used to predict the mask sequences on each frame dynamically. Instance tracking is achieved naturally without tracking branches or post-processing. On YouTube-VIS, SeqFormer achieves 47.4 AP with a ResNet-50 backbone and 49.0 AP with a ResNet-101 backbone without bells and whistles. Such achievement significantly exceeds the previous state-of-the-art performance by 4.6 and 4.4, respectively. In addition, integrated with the recently-proposed Swin transformer, SeqFormer achieves a much higher AP of 59.3. We hope SeqFormer could be a strong baseline that fosters future research in video instance segmentation, and in the meantime, advances this field with a more robust, accurate, neat model. The code is available at https://github.com/wjf5203/SeqFormer.

研究动机与目标

• 开发一种简洁、端到端的视频实例分割框架，避免使用独立的追踪分支或后处理步骤。
• 通过将共享实例查询分解为帧级查询，建模视频帧之间的时序关系，实现在每帧上独立注意力机制。
• 通过跨帧特征的加权聚合学习鲁棒的视频级实例表征，提升追踪与分割精度。
• 为未来视频实例分割研究建立一个强大、高效且可泛化的基线。

提出的方法

• 将单一实例查询分解为帧级边界框查询，以支持每帧独立的注意力机制，实现跨时间对运动物体的对齐。
• 使用具有迭代优化的解码器，以粗到精的方式预测并优化边界框序列，类似于 Deformable DETR。
• 通过从框嵌入学习的可学习权重，对跨帧对齐的实例区域特征进行聚合，形成统一的视频级实例表征。
• 利用优化后的实例表征生成动态卷积权重，用于掩码头，实现在每帧上的精确掩码预测。
• 保留完整的时空特征维度，避免展平操作，该设计被证明对性能至关重要。
• 采用跨帧特征的加权求和聚合方式，注意力权重通过端到端学习从框嵌入获得，以避免信息稀释。

实验结果

研究问题

• RQ1 当注意力机制在每帧上独立应用时，单一共享实例查询是否能有效建模长视频序列中的实例关系？
• RQ2 与展平或多尺度方法相比，保留完整时空特征维度对视频实例分割性能有何影响？
• RQ3 与简单的求和或平均聚合相比，通过端到端学习的帧间注意力权重是否能提升实例表征与掩码预测性能？
• RQ4 在有限帧数上训练的掩码头在未见帧上能多大程度上实现泛化？
• RQ5 所提出的查询分解机制是否能自然地实现实例追踪，而无需显式追踪分支或后处理？

主要发现

• 在使用 ResNet-50 主干网络时，SeqFormer 在 YouTube-VIS 上达到 47.4 AP，在使用 ResNet-101 时达到 49.0 AP，分别较之前最先进方法高出 4.6 和 4.4 AP。
• 在使用 ResNeXt-101 主干网络时，SeqFormer 达到 51.2 AP，首次实现算法在 YouTube-VIS 上突破 50 AP 大关。
• 当与 Swin Transformer 集成时，SeqFormer 达到 59.3 AP，展现出强大的可扩展性及先进主干网络带来的性能增益。
• 仅使用一帧生成实例表征时，AP 为 38.1；使用五帧时，AP 达到 44.6，表明其对未见帧具有强大泛化能力。
• 保留完整时空特征维度相比展平方法带来 7.4 AP 提升，多尺度特征进一步提升 2.6 AP，证明时序建模的重要性。
• 跨帧特征的加权求和聚合方式达到 45.1 AP，优于求和（30.6 AP）和平均（43.2 AP），证实其在保留关键实例线索方面的有效性。