[论文解读] Pixel Objectness: Learning to Segment Generic Objects Automatically in Images and Videos

Bo Xiong, Suyog Dutt Jain+1 more|arXiv (Cornell University)|Aug 11, 2018

Visual Attention and Saliency Detection被引用 5

一句话总结

本文提出 Pixel Objectness，一种端到端的深度学习框架，通过结合外观和运动线索的双流全卷积网络，自动分割图像和视频中的通用物体。该方法在多个基准测试中实现了最先进性能，且无需人工标注，显著优于完全自动的方法，并在不依赖人工输入的情况下，达到或超过半监督方法的性能。

ABSTRACT

We propose an end-to-end learning framework for segmenting generic objects in both images and videos. Given a novel image or video, our approach produces a pixel-level mask for all "object-like" regions---even for object categories never seen during training. We formulate the task as a structured prediction problem of assigning an object/background label to each pixel, implemented using a deep fully convolutional network. When applied to a video, our model further incorporates a motion stream, and the network learns to combine both appearance and motion and attempts to extract all prominent objects whether they are moving or not. Beyond the core model, a second contribution of our approach is how it leverages varying strengths of training annotations. Pixel-level annotations are quite difficult to obtain, yet crucial for training a deep network approach for segmentation. Thus we propose ways to exploit weakly labeled data for learning dense foreground segmentation. For images, we show the value in mixing object category examples with image-level labels together with relatively few images with boundary-level annotations. For video, we show how to bootstrap weakly annotated videos together with the network trained for image segmentation. Through experiments on multiple challenging image and video segmentation benchmarks, our method offers consistently strong results and improves the state-of-the-art for fully automatic segmentation of generic (unseen) objects. In addition, we demonstrate how our approach benefits image retrieval and image retargeting, both of which flourish when given our high-quality foreground maps. Code, models, and videos are at:http://vision.cs.utexas.edu/projects/pixelobjectness/

研究动机与目标

• 开发一种通用的、与类别无关的图像和视频像素级前景分割方法，能够泛化到未见过的物体类别。
• 在单一端到端可训练的深度神经网络中统一外观与运动线索，以提升分割的鲁棒性。
• 利用弱监督数据（如图像级标签和弱标注视频）以及稀疏边界标注，减少对昂贵像素级标注的依赖。
• 实现在静态或复杂物体上完全自动的分割，无需人工干预。
• 通过高质量的自动前景图提升图像检索和图像重定向等下游任务的性能。

提出的方法

• 双流全卷积网络分别处理外观特征和运动特征，其中运动分支以视频帧的光流作为输入。
• 网络在多尺度上融合外观与运动特征，生成联合的像素级物体性图，预测每个像素的前景/背景类别。
• 模型通过结合图像级标签、边界级标注和弱标注视频帧，实现端到端训练。
• 在视频任务中，框架从图像预训练模型进行初始化，并通过跨帧的联合优化利用时间一致性。
• 该方法采用结构化预测损失，确保最终分割掩码的空间一致性。
• 引入数据高效训练策略，结合弱监督（如图像级标签）与有限的强监督（如边界级标注）。

实验结果

研究问题

• RQ1 深度学习模型能否在无类别特定监督的情况下，学习对数千种未见类别物体进行分割？
• RQ2 如何在单一深度神经网络中有效融合外观与运动线索，以提升对运动和静态物体的分割性能？
• RQ3 弱监督（如图像级标签和弱标注视频）在多大程度上可替代昂贵的像素级标注进行模型训练？
• RQ4 完全自动的方法能否在无需任何人工输入的情况下，超越半监督或交互式方法在视频物体分割任务中的表现？
• RQ5 与单独使用任一线索相比，外观与运动线索的联合使用在分割精度上提升了多少？

主要发现

• 在 DAVIS 2016 基准上，所提方法优于所有完全自动方法，Jaccard 分数达到 72.4%，比次佳方法高出 10.5 个百分点。
• 在 YouTube-Objects 数据集上，该方法取得 58.3% 的 Jaccard 分数，比次佳自动方法（NLC）高出 25 个百分点，尽管 NLC 在此数据集上表现优异。
• 在 Segtrack-v2 数据集上，该方法除 NLC 外优于所有自动方法，即使在低分辨率、具有挑战性的视频中也表现出色。
• 联合模型显著优于单独的外观流或运动流，证明了在复杂场景中双线索协同作用的有效性。
• 尽管无需任何人工标注，该方法在准确率上仍优于人类参与的最先进方法（如 MSK 和 IVID）。
• 定性结果表明，当外观线索失效或运动存在噪声时，模型仍能成功分割物体，凸显其对真实世界变化的鲁棒性。