[论文解读] U-Net Based Multi-instance Video Object Segmentation

Heguang Liu, Jingle Jiang|arXiv (Cornell University)|May 19, 2019

Advanced Image and Video Retrieval Techniques参考文献 15被引用 6

一句话总结

该论文提出了一种基于U-Net的全卷积网络，用于多实例视频对象分割，利用实例隔离和加权交叉熵与Dice系数的混合损失函数。在DAVIS 2017数据集上，其F mean为0.467，J mean为0.424，相比基线模型在召回率和轮廓平滑度方面表现更优，尤其在需要完整实例覆盖的场景中表现突出。

ABSTRACT

Multi-instance video object segmentation is to segment specific instances throughout a video sequence in pixel level, given only an annotated first frame. In this paper, we implement an effective fully convolutional networks with U-Net similar structure built on top of OSVOS fine-tuned layer. We use instance isolation to transform this multi-instance segmentation problem into binary labeling problem, and use weighted cross entropy loss and dice coefficient loss as our loss function. Our best model achieves F mean of 0.467 and J mean of 0.424 on DAVIS dataset, which is a comparable performance with the State-of-the-Art approach. But case analysis shows this model can achieve a smoother contour and better instance coverage, meaning it better for recall focused segmentation scenario. We also did experiments on other convolutional neural networks, including Seg-Net, Mask R-CNN, and provide insightful comparison and discussion.

研究动机与目标

• 为解决多实例视频对象分割中不依赖时间信息以实现实时处理的挑战。
• 相比现有最先进方法（如OSVOS），提升分割完整性和轮廓平滑度。
• 在DAVIS 2017基准上，对全卷积架构（包括U-Net、SegNet和Mask R-CNN）进行评估与比较。
• 研究适用于多实例分割的有效损失函数与实例隔离策略。

提出的方法

• 采用类似U-Net的架构，通过跳跃连接保留编码器特征中的空间细节。
• 通过将多实例掩码转换为N个二值掩码（每个实例一个），实现实例隔离，从而将问题转化为N个独立的二值分割任务。
• 采用混合损失函数，结合加权交叉熵与Dice系数，以缓解类别不平衡问题并提升IoU。
• 在第一帧的OSVOS优化特征上进行微调，实现对新视频序列的一次性适应。
• 由于GPU显存限制，训练时使用批量大小为8，每个模型收敛需约8小时。
• 使用标准指标（F mean与J mean）在DAVIS 2017测试集上对模型进行评估。

实验结果

研究问题

• RQ1 基于U-Net的架构是否能在不使用时间信息的情况下，实现多实例视频对象分割的竞争力表现？
• RQ2 与端到端多类别预测相比，将实例隔离为二值掩码对分割准确率与完整性的提升效果如何？
• RQ3 结合加权交叉熵与Dice系数损失对小目标分割中类别不平衡问题的缓解作用如何？
• RQ4 与OSVOS及其他架构（如Mask R-CNN和SegNet）相比，所提模型在性能与标注质量方面表现如何？
• RQ5 模型在遮挡及目标边界丢失情况下的失效模式是什么？

主要发现

• 所提基于U-Net的模型在DAVIS 2017数据集上达到F mean: 0.467与J mean: 0.424，性能与当前最先进方法OSVOS相当。
• 相比OSVOS，该模型生成了更平滑的轮廓并实现了更好的实例覆盖，更适合于注重召回率的分割任务。
• 在大运动与外观变化场景下表现良好，如在“drift chicane”序列中，对远处转弯车辆的分割表现稳定。
• 在多实例遮挡场景下表现不佳，常在一辆物体遮挡另一物体时同时跟踪两者，如“camel”序列所示。
• 当物体退出并重新进入图像边界时，模型容易丢失跟踪，如“motocross jump”序列所示。
• Mask R-CNN因对未见类别泛化能力差（如将骆驼误识别为马）且难以有效利用首帧监督信号而失败。