[论文解读] Temporal Transductive Inference for Few-Shot Video Object Segmentation

Mennatullah Siam, Konstantinos G. Derpanis+1 more|arXiv (Cornell University)|Mar 27, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出了一种新颖的少样本视频实例分割时间归纳推理（TTI）方法，通过视频级别的约束强制实现全局时间一致性，从而提升时间连贯性并减少在少样本支持集上的过拟合。该方法在YouTube-VIS数据集上相比最先进方法实现了2.5%的mIoU提升，并引入了全面标注的MiniVSPW基准数据集。

ABSTRACT

Few-shot video object segmentation (FS-VOS) aims at segmenting video frames using a few labelled examples of classes not seen during initial training. In this paper, we present a simple but effective temporal transductive inference (TTI) approach that leverages temporal consistency in the unlabelled video frames during few-shot inference. Key to our approach is the use of both global and local temporal constraints. The objective of the global constraint is to learn consistent linear classifiers for novel classes across the image sequence, whereas the local constraint enforces the proportion of foreground/background regions in each frame to be coherent across a local temporal window. These constraints act as spatiotemporal regularizers during the transductive inference to increase temporal coherence and reduce overfitting on the few-shot support set. Empirically, our model outperforms state-of-the-art meta-learning approaches in terms of mean intersection over union on YouTube-VIS by 2.8%. In addition, we introduce improved benchmarks that are exhaustively labelled (i.e. all object occurrences are labelled, unlike the currently available), and present a more realistic evaluation paradigm that targets data distribution shift between training and testing sets. Our empirical results and in-depth analysis confirm the added benefits of the proposed spatiotemporal regularizers to improve temporal coherence and overcome certain overfitting scenarios.

研究动机与目标

• 解决少样本视频对象分割推理过程中缺乏时间正则化的缺陷。
• 在无需元学习或任务内训练的情况下，提升对少样本支持集的泛化能力并减少过拟合。
• 引入一个全面标注视频掩码的新基准，以克服现有数据集的局限性。
• 通过全局时空正则化器与关键帧优化，增强时间连贯性。
• 证明归纳推理在视频分割任务中超越单图像设置的有效性。

提出的方法

• 该方法在未标注查询帧上使用帧级交叉熵损失，并引入前景/背景区域比例正则化。
• 通过将所有帧对齐到动态更新的视频级原型，施加全局视频级约束 $\mathbf{L}_{global}$，以确保所有帧的线性分类器一致。
• 在优化过程中迭代更新视频级原型，以表示序列中类别的整体特征。
• 关键帧优化选择与全局原型最接近的帧，进行额外的分类器精炼，从而提升对分割质量较高的帧的准确性。
• 该方法避免在线主干网络微调，实现高效的时间归纳推理并保持高性能。
• 该方法仅使用支持集和查询帧进行端到端训练，无需元学习或任务内训练。

实验结果

研究问题

• RQ1 全局时间约束能否提升少样本视频对象分割的时间连贯性？
• RQ2 在FS-VOS任务中，无需任务内训练的时间归纳推理是否优于基于元学习的方法？
• RQ3 时空正则化在小样本支持集上如何影响过拟合？
• RQ4 基准数据集中全面标注在多大程度上提升了评估的可靠性？
• RQ5 基于关键帧的优化能否在不进行昂贵主干网络微调的情况下提升分类器质量？

主要发现

• 所提出的TTI方法在YouTube-VIS数据集上相比最先进方法实现了2.5%的mIoU绝对提升。
• 该方法显著减少了在少样本支持集上的过拟合，尤其在对象模糊或姿态变化较大的情况下表现更优。
• 时间一致性分析表明，时空正则化器增强了帧间预测的稳定性。
• 基于VSPW数据集构建的MiniVSPW基准提供了全面标注的掩码，解决了YouTube-VIS中非全面标注的问题。
• 可视化结果表明，TTI在支持集中对象姿态或外观变化时仍能保持时间连贯性，且在具有挑战性的场景中优于RePRI基线方法。
• 尽管在部分帧中存在轻微过分割现象，TTI在YouTube-VIS的所有折数中均一致优于基线方法，且退化解更少。