[论文解读] Towards Deeper Understanding of Camouflaged Object Detection

Yunqiu Lv, Jing Zhang+4 more|arXiv (Cornell University)|May 23, 2022

Ocular Surface and Contact Lens被引用 9

一句话总结

本文提出了一种用于伪装目标检测的新型三任务学习框架，可同时定位判别区域、分割伪装目标并对其伪装难度进行排序。通过建模显著性并利用基于眼动追踪的定位图，该方法实现了最先进性能，并为自然与视觉系统中的伪装机制提供了更深层次的可解释性。

ABSTRACT

Preys in the wild evolve to be camouflaged to avoid being recognized by predators. In this way, camouflage acts as a key defence mechanism across species that is critical to survival. To detect and segment the whole scope of a camouflaged object, camouflaged object detection (COD) is introduced as a binary segmentation task, with the binary ground truth camouflage map indicating the exact regions of the camouflaged objects. In this paper, we revisit this task and argue that the binary segmentation setting fails to fully understand the concept of camouflage. We find that explicitly modeling the conspicuousness of camouflaged objects against their particular backgrounds can not only lead to a better understanding about camouflage, but also provide guidance to designing more sophisticated camouflage techniques. Furthermore, we observe that it is some specific parts of camouflaged objects that make them detectable by predators. With the above understanding about camouflaged objects, we present the first triple-task learning framework to simultaneously localize, segment, and rank camouflaged objects, indicating the conspicuousness level of camouflage. As no corresponding datasets exist for either the localization model or the ranking model, we generate localization maps with an eye tracker, which are then processed according to the instance level labels to generate our ranking-based training and testing dataset. We also contribute the largest COD testing set to comprehensively analyse performance of the COD models. Experimental results show that our triple-task learning framework achieves new state-of-the-art, leading to a more explainable COD network. Our code, data, and results are available at: \url{https://github.com/JingZhang617/COD-Rank-Localize-and-Segment}.

研究动机与目标

• 为解决二值分割在伪装目标检测（COD）中的局限性，其无法捕捉伪装的分层感知与进化机制。
• 探究人类如何通过识别最显著区域而非整体感知来检测伪装目标。
• 通过为每个实例估计伪装排序分数，量化伪装的难度。
• 构建一个新的基准数据集，包含细粒度属性，以实现对不同条件下COD模型性能的全面分析。

提出的方法

• 提出一种三任务联合学习框架，通过统一的网络架构同时执行伪装目标定位、分割与伪装难度排序。
• 利用人类观察者的眼动追踪数据生成真实定位图，再结合实例级标注对数据进行处理，构建基于排序的训练数据集。
• 提出一种新型损失函数，结合二值交叉熵用于分割、L1损失用于定位，以及感知排序的损失用于伪装难度估计。
• 构建一个大规模、全面的COD测试集，包含背景复杂度、目标大小、遮挡与干扰性色彩等细粒度属性。
• 对现有COD数据集重新标注10个细粒度属性，以支持对不同伪装策略与环境条件下的性能分析。
• 采用多头解码头结构，在一次前向传播中同时预测分割掩码、判别区域图与伪装难度排序分数。

实验结果

研究问题

• RQ1 伪装目标中哪些特定区域最易被人类观察者察觉？如何通过精确定位这些区域来提升检测性能？
• RQ2 伪装程度如何实现定量测量？哪些因素导致更高的伪装难度？
• RQ3 统一的深度学习框架能否有效同时学习伪装目标的定位、分割与排序？
• RQ4 背景复杂度、目标大小、遮挡与干扰性色彩等伪装属性如何影响现有COD模型的性能？
• RQ5 现有COD模型在多样化伪装策略下的泛化能力如何？能否基于细粒度属性分析改进模型设计？

主要发现

• 所提出的三任务框架在多个COD基准上达到最先进性能，展现出更优的分割与定位准确率。
• 在遮挡属性上表现最佳，在干扰性色彩、模仿伪装与小目标类别中排名第二。
• 具有复杂背景、角落位置、遮挡或小目标属性的图像更可能被分类为‘困难’伪装实例。
• 显著目标属性与‘简单’样本强相关，证实显著性越高，检测越容易。
• 模型在大多数属性上表现均衡，表明对多样化伪装策略与环境条件具有鲁棒性。
• 细粒度属性分析表明，模仿伪装与复杂背景是最具挑战性的属性，其‘困难’样本比例最高。