[论文解读] Self-supervised Amodal Video Object Segmentation

Jian Yao, Yuxin Hong+7 more|arXiv (Cornell University)|Oct 23, 2022

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出 SaVos，一种自监督视频实例分割框架，通过利用视频帧中可见的物体部分，结合时空先验，推断出完整的（非可见）物体掩码，无需显式提供非可见掩码标注。该方法在合成数据集（FISHBOWL）和真实世界数据集（KINS-Video-Car）上均取得了最先进性能，并通过推理时自适应展现出强大的泛化能力，优于在目标域数据上微调的模型。

ABSTRACT

Amodal perception requires inferring the full shape of an object that is partially occluded. This task is particularly challenging on two levels: (1) it requires more information than what is contained in the instant retina or imaging sensor, (2) it is difficult to obtain enough well-annotated amodal labels for supervision. To this end, this paper develops a new framework of Self-supervised amodal Video object segmentation (SaVos). Our method efficiently leverages the visual information of video temporal sequences to infer the amodal mask of objects. The key intuition is that the occluded part of an object can be explained away if that part is visible in other frames, possibly deformed as long as the deformation can be reasonably learned. Accordingly, we derive a novel self-supervised learning paradigm that efficiently utilizes the visible object parts as the supervision to guide the training on videos. In addition to learning type prior to complete masks for known types, SaVos also learns the spatiotemporal prior, which is also useful for the amodal task and could generalize to unseen types. The proposed framework achieves the state-of-the-art performance on the synthetic amodal segmentation benchmark FISHBOWL and the real world benchmark KINS-Video-Car. Further, it lends itself well to being transferred to novel distributions using test-time adaptation, outperforming existing models even after the transfer to a new distribution.

研究动机与目标

• 解决在不依赖昂贵非可见掩码标注的情况下，实现非可见视频实例分割的挑战。
• 利用视频的时间序列，通过其他帧中可见部分作为自监督信号，推断被遮挡的物体部分。
• 通过时空先验和推理时自适应，提升对未见物体类型和分布偏移的泛化能力。
• 开发一种天然支持推理时自适应的模型，实现在无需微调的情况下，对新分布性能提升。

提出的方法

• 该框架学习跨帧的密集非可见物体运动，以连接可见区域与遮挡区域，利用时间一致性作为监督信号。
• 联合预测非可见掩码与非可见掩码上的密集运动，通过利用时空结构避免显式像素对应关系。
• 提出一种新型架构设计，融入格式塔心理学中“共同命运”原则的归纳偏置，以提升遮挡区域的运动与掩码预测性能。
• 自监督信号来源于其他帧中的可见掩码，通过代理损失仅优化可见部分，避免对错误预测的过拟合。
• 推理时自适应无需修改自监督损失，通过早停策略防止过度补全，维持泛化能力。
• 该方法同时学习时空先验与隐式类别先验，后者在自适应过程中被抑制，以增强对未见类别的鲁棒性。

实验结果

研究问题

• RQ1 能否有效利用其他视频帧中的可见物体部分，实现无需显式非可见标注的自监督非可见掩码预测？
• RQ2 如何利用时空先验，使非可见分割性能超越基于类别的先验？
• RQ3 与图像级基线方法相比，所提出的自监督框架是否在未见物体类型和分布偏移上具有更好的泛化能力？
• RQ4 为何推理时自适应对 SaVos 比其他自监督方法更为有效？

主要发现

• SaVos 在自监督设置下，在合成数据集 FISHBOWL 和真实世界数据集 KINS-Video-Car 上均取得了最先进性能。
• 在 KINS-Video-Car 上，使用合成鱼类数据预训练的 SaVos 模型，在推理时自适应后，性能优于在真实世界驾驶车辆数据集上微调的模型。
• 推理时自适应显著提升了泛化能力，SaVos 的性能提升幅度大于图像级基线方法（如 Self-Deocclusion）。
• 模型隐式学习了类别先验，但推理时自适应中的早停策略有助于抑制对未见类别的过度补全和错误预测。
• 自监督损失的设计使得推理时自适应更加高效，因为训练信号通过非可见运动建模，与测试视频中的遮挡区域直接对齐。
• 实证结果表明，SaVos 比其他自监督方法更具自适应友好性，表明其损失设计更适用于分布偏移下的泛化。