[论文解读] Weakly-Supervised Camouflaged Object Detection with Scribble Annotations

Ruozhen He, Qihua Dong+2 more|arXiv (Cornell University)|Jul 28, 2022

Visual Attention and Saliency Detection被引用 10

一句话总结

本论文提出首个使用涂鸦标注的弱监督伪装目标检测（COD）框架，其标注速度比像素级掩码快360倍。该方法引入一种新型网络结构，包含用于增强低层次对比度的局部上下文对比（LCC）模块，以及用于推理物体部件之间关系的逻辑语义关系（LSR）模块，并结合一致性损失和特征引导损失以提升边界定位精度；在三个基准数据集上，该方法实现了最先进性能，相较于SOTA方法在MAE上提升11.0%，S-measure上提升3.2%，E-measure上提升2.5%，加权F-measure上提升4.4%。

ABSTRACT

Existing camouflaged object detection (COD) methods rely heavily on large-scale datasets with pixel-wise annotations. However, due to the ambiguous boundary, annotating camouflage objects pixel-wisely is very time-consuming and labor-intensive, taking ~60mins to label one image. In this paper, we propose the first weakly-supervised COD method, using scribble annotations as supervision. To achieve this, we first relabel 4,040 images in existing camouflaged object datasets with scribbles, which takes ~10s to label one image. As scribble annotations only describe the primary structure of objects without details, for the network to learn to localize the boundaries of camouflaged objects, we propose a novel consistency loss composed of two parts: a cross-view loss to attain reliable consistency over different images, and an inside-view loss to maintain consistency inside a single prediction map. Besides, we observe that humans use semantic information to segment regions near the boundaries of camouflaged objects. Hence, we further propose a feature-guided loss, which includes visual features directly extracted from images and semantically significant features captured by the model. Finally, we propose a novel network for COD via scribble learning on structural information and semantic relations. Our network has two novel modules: the local-context contrasted (LCC) module, which mimics visual inhibition to enhance image contrast/sharpness and expand the scribbles into potential camouflaged regions, and the logical semantic relation (LSR) module, which analyzes the semantic relation to determine the regions representing the camouflaged object. Experimental results show that our model outperforms relevant SOTA methods on three COD benchmarks with an average improvement of 11.0% on MAE, 3.2% on S-measure, 2.5% on E-measure, and 4.4% on weighted F-measure.

研究动机与目标

• 为解决伪装目标检测（COD）中像素级标注带来的高昂标注成本问题，其标注时间约为每张图像60分钟。
• 探索使用稀疏涂鸦标注（每张图像仅约10秒）作为弱监督信号在COD中的可行性和有效性。
• 克服现有基于涂鸦的方法在伪装目标中模糊边界和复杂语义关系上的局限性。
• 设计新型网络架构与损失函数，利用稀疏涂鸦中的结构与语义信息以提升检测精度。
• 构建新基准数据集S-COD，包含4,040张通过涂鸦标注的图像，用于支持弱监督COD研究。

提出的方法

• 提出一种新型弱监督COD框架，使用涂鸦标注替代像素级掩码，将每张图像的标注时间从约60分钟缩短至约10秒。
• 引入一种新型一致性损失，包含两个组成部分：跨视图损失，用于强制不同图像增强视图之间的预测一致性；内视图损失，用于保持单个预测图内部的一致性。
• 设计局部上下文对比（LCC）模块，通过模拟视觉抑制机制来增强图像对比度，并通过强调低层次结构差异，将涂鸦扩展为潜在的伪装区域。
• 开发逻辑语义关系（LSR）模块，分析物体部件之间的关系（如花瓣与茎），利用学习到的高层语义信息来优化最终预测。
• 提出特征引导损失，将人工提取的视觉特征（如颜色、纹理）与模型学习的语义特征相结合，引导网络检测隐藏的前景物体。
• 构建新数据集S-COD，由COD10K中的3,040张图像和CAMO中的1,000张图像重新标注为涂鸦格式，以支持弱监督COD训练。

实验结果

研究问题

• RQ1 相较于像素级掩码，标注速度显著更快的涂鸦标注能否作为伪装目标检测的有效弱监督信号？
• RQ2 深度学习模型如何能从仅捕捉主要物体结构的稀疏涂鸦标注中，有效学习精确的物体边界？
• RQ3 在仅有限涂鸦监督可用的情况下，哪些损失函数最有效地实现预测一致性并引导语义推理？
• RQ4 模型在多大程度上能利用低层次对比度与高层语义关系来检测在视觉上与背景难以区分的伪装物体？
• RQ5 在具有挑战性的COD场景中，基于涂鸦训练的弱监督模型是否能超越完全监督的SOTA方法？

主要发现

• 所提方法在三个COD基准数据集上，相较于最先进方法，平均在MAE上提升11.0%，S-measure上提升3.2%，E-measure上提升2.5%，加权F-measure上提升4.4%。
• 消融实验表明，一致性损失与特征引导损失均显著提升性能，完整模型（LCC + LSR + 两种损失）优于单一组件。
• LCC模块通过增强低层次对比度，有效将涂鸦扩展为潜在的伪装区域，尤其在纹理差异细微的区域表现突出。
• LSR模块通过推理物体部件之间的逻辑语义关系，改善边界定位，减少复杂场景中的误检。
• 一致性损失结合跨视图与内视图正则化，稳定了训练过程并提升了泛化能力，尤其在模糊与杂乱背景中表现更优。
• 该模型性能可与完全监督的SOTA方法相媲美，证明基于涂鸦的弱监督学习在COD任务中具有高度有效性。