[论文解读] Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation

Qiang Zhou, Zilong Huang+6 more|arXiv (Cornell University)|Jul 2, 2019

Video Surveillance and Tracking Methods参考文献 39被引用 4

一句话总结

PTSNet 提出了一种级联的视频实例分割框架，包含对象提议、跟踪和动态参考分割网络。通过利用物体度（objectness）实现高效定位，结合具备尺度自适应能力的在线跟踪，以及从历史预测中学习动态参考，该方法在 DAVIS’17 和 YouTube-VOS 上实现了最先进性能，全训练与推理流程下达到 71.6% 的 JIoU。

ABSTRACT

Video object segmentation (VOS) aims at pixel-level object tracking given only the annotations in the first frame. Due to the large visual variations of objects in video and the lack of training samples, it remains a difficult task despite the upsurging development of deep learning. Toward solving the VOS problem, we bring in several new insights by the proposed unified framework consisting of object proposal, tracking and segmentation components. The object proposal network transfers objectness information as generic knowledge into VOS; the tracking network identifies the target object from the proposals; and the segmentation network is performed based on the tracking results with a novel dynamic-reference based model adaptation scheme. Extensive experiments have been conducted on the DAVIS'17 dataset and the YouTube-VOS dataset, our method achieves the state-of-the-art performance on several video object segmentation benchmarks. We make the code publicly available at https://github.com/sydney0zq/PTSNet.

研究动机与目标

• 为解决在大视觉变化和有限训练数据下半监督视频实例分割的挑战。
• 通过引入与物体度相关的提议生成方法，提升定位精度并缩小搜索空间。
• 通过利用历史预测作为伪真实标签进行动态参考学习，增强分割的鲁棒性。
• 通过模块化、级联的架构解耦定位与分割任务，以促进更好的特征学习。
• 实现在无完整微调的情况下在线模型自适应，提升在外观变化下的泛化能力。

提出的方法

• 一个对象提议网络（OPN）生成与类别无关的高物体度区域，以缩小跟踪的搜索空间。
• 一个对象跟踪网络（OTN）通过评分提议来识别目标对象，并在线适应尺度和外观变化。
• 一个动态参考分割网络（DRSN）同时使用第一帧标注和多个历史分割掩码作为动态参考，以指导当前帧的预测。
• DRSN 采用一种新颖的模型自适应方案，利用高置信度的历史预测作为伪标注来更新分割网络。
• 该框架端到端可训练且具有因果性，可在无未来帧依赖的情况下实现实时推理。
• 进一步应用在线微调以提升性能，尤其在长期遮挡或外观漂移情况下表现更优。

实验结果

研究问题

• RQ1 基于物体度的提议生成是否能显著提升视频实例分割中的定位效率与精度？
• RQ2 与静态参考或在线微调相比，从历史预测中学习动态参考在分割性能上表现如何？
• RQ3 一种将提议、跟踪与分割分离的级联架构，是否能提升对外观与运动变化的鲁棒性？
• RQ4 当将 DAVIS 视为跟踪基准时，物体度信息在多大程度上能提升跟踪性能？
• RQ5 通过动态参考实现的在线模型自适应，对长期跟踪稳定性有何影响？

主要发现

• PTSNet 在 DAVIS’17 验证集上达到 71.6% 的 JIoU，优于此前最先进方法。
• 消融实验表明，引入动态参考相比仅使用静态参考（RGMP）性能提升 5.1%。
• 引入对象提议网络（OPN）相比高斯采样基线性能提升 2.2%，证明物体度在定位中的价值。
• OPN、OTN 与带动态参考的 DRSN 联合使用，实现 66.1% 的 JIoU，相比基线 RGMP 提升 7.3%。
• 使用六个参考帧（包括 N-2、N-4、N-6）在 Titan V 上实现准确率（66.1%）与推理速度（56.15ms/帧）的最佳平衡。
• 在作为跟踪数据集评估时，OPN 将 AUC 从 52.1%（高斯采样）提升至 77.8%，证明物体度显著增强了跟踪的可靠性。