[论文解读] Putting the Object Back into Video Object Segmentation

Ho Kei Cheng, Seoung Wug Oh+3 more|arXiv (Cornell University)|Oct 19, 2023

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

Cutie 提出了一种视频实例分割（VOS）网络，通过基于查询的对象变换器实现基于对象的内存读取，从而在存在遮挡和干扰物的复杂场景中提升鲁棒性。通过将高层对象查询与高分辨率像素特征及前景-背景掩码注意力相结合，Cutie 在 MOSE 数据集上相比 XMem 提升了 8.7 J&F，相比 DeAOT 提升了 4.2 J&F，同时推理速度比 DeAOT 快三倍。

ABSTRACT

We present Cutie, a video object segmentation (VOS) network with object-level memory reading, which puts the object representation from memory back into the video object segmentation result. Recent works on VOS employ bottom-up pixel-level memory reading which struggles due to matching noise, especially in the presence of distractors, resulting in lower performance in more challenging data. In contrast, Cutie performs top-down object-level memory reading by adapting a small set of object queries. Via those, it interacts with the bottom-up pixel features iteratively with a query-based object transformer (qt, hence Cutie). The object queries act as a high-level summary of the target object, while high-resolution feature maps are retained for accurate segmentation. Together with foreground-background masked attention, Cutie cleanly separates the semantics of the foreground object from the background. On the challenging MOSE dataset, Cutie improves by 8.7 J&F over XMem with a similar running time and improves by 4.2 J&F over DeAOT while being three times faster. Code is available at: https://hkchengrex.github.io/Cutie

研究动机与目标

• 为解决 VOS 中基于像素的内存读取方法在干扰物和遮挡条件下存在的匹配噪声与泛化能力差的问题。
• 通过将目标对象建模为可学习查询，实现视频实例分割中的基于对象的推理，使其与像素级特征交互。
• 通过紧凑的对象内存和掩码注意力机制，提升长期跟踪的鲁棒性，并实现前景与背景的清晰语义分离。
• 在显著超越当前最先进方法的挑战性基准（如 MOSE）上，保持高推理效率。

提出的方法

• Cutie 采用基于查询的对象变换器（qt），通过少量可学习的对象查询迭代优化基于像素的内存读取，实现自顶向下的引导。
• 模型采用双内存机制：像素内存用于低层特征检索，紧凑的对象内存则用于总结目标特定特征，实现长期表征。
• 引入前景-背景掩码注意力机制，使前景和背景分别拥有独立的注意力流，实现更清晰的语义分离和更丰富的特征交互。
• 通过交叉注意力机制更新对象查询，使高层对象概念与低层空间细节之间实现双向信息交互。
• 解码器采用通道数减少的架构（128 通道），结合跳跃连接与上采样模块，高效重建高分辨率分割掩码。
• 网络采用端到端训练，损失函数为聚焦于不确定区域的交叉熵损失，与 XMem 和 DeAOT 类似，但通过对象查询优化过程得到增强。

Figure 1 : Comparison of pixel-level memory reading v.s. object-level memory reading. In each box, the left is the reference frame, and the right is the query frame to be segmented. Red arrows indicate wrong matches. Low-level pixel matching (e.g., XMem [ 9 ] ) can be noisy in the presence of distra

实验结果

研究问题

• RQ1 基于对象的推理能否在严重遮挡和干扰物条件下提升视频实例分割的鲁棒性？
• RQ2 与传统的基于像素的匹配相比，基于对象的内存读取在分割精度和抗噪声能力方面表现如何？
• RQ3 紧凑的对象内存能否在不降低推理速度的前提下，有效维持长期目标表征？
• RQ4 前景-背景掩码注意力是否能提升语义分离效果，并减少复杂场景中的背景混淆？

主要发现

• Cutie 在具有挑战性的 MOSE 数据集上相比 XMem 提升了 +8.7 J&F，显著增强了对干扰物和遮挡的鲁棒性。
• Cutie 在 MOSE 上相比 DeAOT 提升 4.2 J&F，同时推理速度提升三倍，表明其在准确率与效率之间具有更优的权衡。
• 模型在 DAVIS-2017 和 YouTubeVOS 等标准基准上保持了具有竞争力的性能，证实其在不同数据集间的良好泛化能力。
• 使用对象查询与掩码注意力机制可实现更清晰的前景-背景分离，显著减少复杂场景中的误报。
• 将解码器通道数从 256 减少到 128 并未导致性能下降，证实对象变换器带来的特征质量提升可弥补容量减少的影响。
• 紧凑的对象内存可实现稳定长期跟踪而无需微调，且可零成本复用于多个目标。

Figure 2 : Overview of Cutie. We store pixel memory $F$ and object memory $S$ representations from past segmented (memory) frames. Pixel memory is retrieved for the query frame as pixel readout $R_{0}$ , which bidirectionally interacts with object queries $X$ and object memory $S$ in the object tran