[论文解读] Online Video Instance Segmentation via Robust Context Fusion

Xiang Li, Jinglu Wang+3 more|arXiv (Cornell University)|Jul 12, 2022

Music and Audio Processing被引用 4

一句话总结

本文提出了一种用于在线视频实例分割的鲁棒上下文融合（RCF）网络，通过重要性感知压缩和基于Transformer的融合机制，高效地将少量前序帧中的紧凑、相关上下文信息整合到实时目标帧预测中。该方法在YouTube-VIS 2019和2021上实现了最先进性能，甚至超越了片段级方法，并表明在非受限场景下音频线索可略微提升分割效果。

ABSTRACT

Video instance segmentation (VIS) aims at classifying, segmenting and tracking object instances in video sequences. Recent transformer-based neural networks have demonstrated their powerful capability of modeling spatio-temporal correlations for the VIS task. Relying on video- or clip-level input, they suffer from high latency and computational cost. We propose a robust context fusion network to tackle VIS in an online fashion, which predicts instance segmentation frame-by-frame with a few preceding frames. To acquire the precise and temporal-consistent prediction for each frame efficiently, the key idea is to fuse effective and compact context from reference frames into the target frame. Considering the different effects of reference and target frames on the target prediction, we first summarize contextual features through importance-aware compression. A transformer encoder is adopted to fuse the compressed context. Then, we leverage an order-preserving instance embedding to convey the identity-aware information and correspond the identities to predicted instance masks. We demonstrate that our robust fusion network achieves the best performance among existing online VIS methods and is even better than previously published clip-level methods on the Youtube-VIS 2019 and 2021 benchmarks. In addition, visual objects often have acoustic signatures that are naturally synchronized with them in audio-bearing video recordings. By leveraging the flexibility of our context fusion network on multi-modal data, we further investigate the influence of audios on the video-dense prediction task, which has never been discussed in existing works. We build up an Audio-Visual Instance Segmentation dataset, and demonstrate that acoustic signals in the wild scenarios could benefit the VIS task.

研究动机与目标

• 为解决视频实例分割中高延迟和计算成本高的问题，实现端到端的实时逐帧推理。
• 通过融合来自前序参考帧的紧凑、有效上下文信息，同时保持时间一致性，提升在线VIS性能。
• 通过学习一种顺序保持的实例嵌入实现身份追踪，从而消除对后处理匹配的依赖。
• 研究模态在视频密集预测任务中的作用，特别是在非受限、真实世界场景中的表现。
• 构建并评估一个新的音视频实例分割数据集，以研究VIS中的多模态融合。

提出的方法

• 该方法采用重要性感知压缩，从参考帧中提炼相关特征，在融合前减少冗余和噪声。
• 使用表达性强的自注意力与交叉注意力机制，通过Transformer编码器将压缩后的参考帧特征与目标帧特征进行融合。
• 通过Transformer解码器中的固定长度查询学习一种顺序保持的实例编码，实现无需额外匹配的身份追踪。
• 模型利用利普希茨连续性确保身份分配的稳定性，因此无需显式监督来保持顺序一致性。
• 通过音频标记将音频模态集成，使用与上下文融合机制相同的机制与视觉特征进行融合。
• 该框架具有灵活性，支持多模态输入，可实现视觉-音频联合推理，用于密集预测任务。

实验结果

研究问题

• RQ1 是否可以通过有效利用少量参考帧，构建鲁棒的上下文融合机制来提升在线视频实例分割的性能？
• RQ2 对参考特征进行重要性感知压缩是否能增强在线推理中模型的鲁棒性与效率？
• RQ3 顺序保持的实例编码是否能够消除在线VIS中复杂后处理匹配的需要？
• RQ4 在真实世界、非受限的视频场景中，音频信号在多大程度上能提升视频实例分割性能？
• RQ5 在野生、非受控的视频环境中，音频融合带来的性能增益是否具有统计显著性？

主要发现

• 所提出的RCF网络在YouTube-VIS 2019上达到40.8 mAP，在YouTube-VIS 2021上达到43.4 mAP，优于所有现有在线VIS方法，甚至超越了先前发布的片段级方法。
• 该模型对冗余的实例查询具有鲁棒性，在查询数量远超实际帧中实例数时仍能保持强劲性能。
• 对实例编码顺序的监督并未提升性能，因为顺序保持特性自然地从网络架构中涌现。
• 在标记融合中使用像素级权重可使mAP提升0.7个百分点，禁用该机制后性能下降，表明其在聚焦前景区域中的重要性。
• 在AVIS验证集上，音频集成平均带来+1.9 mAP的增益，但该提升不具统计显著性（p值 > 0.05）。
• 由于音频-视觉关联弱且不稳定，且声音事件持续时间短暂，音频的增益在非受限视频中有限。