[论文解读] Panoptic Edge Detection

Yuan Hu, Yingtian Zou+1 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Image and Video Retrieval Techniques参考文献 18被引用 5

一句话总结

本文提出了全景边缘检测（Panoptic Edge Detection, PED），这是一种新型任务，统一了对‘stuff’类别进行语义级边缘检测与对物体实例进行实例级边缘检测。作者提出了全景边缘网络（Panoptic Edge Network, PEN），一种多分支、端到端可训练的框架，通过共享特征联合优化语义边缘检测、目标检测和实例边缘检测，在Cityscapes和ADE20K数据集上实现了最先进性能，并引入了统一评估的新指标$F^2$。

ABSTRACT

Pursuing more complete and coherent scene understanding towards realistic vision applications drives edge detection from category-agnostic to category-aware semantic level. However, finer delineation of instance-level boundaries still remains unexcavated. In this work, we address a new finer-grained task, termed panoptic edge detection (PED), which aims at predicting semantic-level boundaries for stuff categories and instance-level boundaries for instance categories, in order to provide more comprehensive and unified scene understanding from the perspective of edges.We then propose a versatile framework, Panoptic Edge Network (PEN), which aggregates different tasks of object detection, semantic and instance edge detection into a single holistic network with multiple branches. Based on the same feature representation, the semantic edge branch produces semantic-level boundaries for all categories and the object detection branch generates instance proposals. Conditioned on the prior information from these two branches, the instance edge branch aims at instantiating edge predictions for instance categories. Besides, we also devise a Panoptic Dual F-measure (F2) metric for the new PED task to uniformly measure edge prediction quality for both stuff and instances. By joint end-to-end training, the proposed PEN framework outperforms all competitive baselines on Cityscapes and ADE20K datasets.

研究动机与目标

• 通过引入一种新任务——全景边缘检测（PED），解决对更细粒度场景理解的需求，该任务结合了语义级与实例级边缘检测。
• 克服现有类别感知语义边缘检测的局限性，后者无法区分物体类别实例的边界。
• 开发一种统一的深度学习框架，能够在单一端到端网络中同时预测‘stuff’类别的语义级边缘与物体实例的实例级边缘。
• 提出一种新的评估指标——全景双F-measure（$F^2$），用于统一评估‘stuff’与实例类别中边缘质量。
• 证明联合多任务学习相较于分别训练边缘检测与目标检测模块的优越性。

提出的方法

• 设计一种多分支、单网络架构——全景边缘网络（PEN），共享一个通用视觉主干网络，并包含三个任务专用分支：语义边缘检测、目标检测和实例边缘检测。
• 在语义边缘分支中采用层次化特征融合，以预测‘stuff’和实例类别对应的类别特定边缘。
• 采用基于区域的目标检测头（受Faster R-CNN启发），通过边界框回归生成实例提议。
• 将实例边缘检测分支基于语义边缘和目标检测分支的先验信息进行条件化，以生成实例特定的边缘图。
• 消除可能导致边缘边界失真的特征重采样操作（如ROI Align），从而保留高分辨率边缘细节。
• 提出全景双F-measure（$F^2$），该指标结合了‘stuff’类别的最大F-measure（ODS）与目标检测的F1-score，以及实例类别的边缘F-measure，实现统一评估。

实验结果

研究问题

• RQ1 是否能够通过统一的深度学习框架，同时预测‘stuff’类别的语义级边缘与物体实例的实例级边缘？
• RQ2 与分别训练语义边缘检测、目标检测和实例边缘检测模块相比，联合训练这三项任务是否能显著提升性能？
• RQ3 在全景边缘检测设置下，何种评估指标适用于统一评估‘stuff’与实例类别中的边缘质量？
• RQ4 避免特征重采样操作（如ROI对齐）在多大程度上提升了实例级边缘检测中边缘边界的保真度？
• RQ5 与现有的全景分割和语义边缘检测基线相比，所提出的PEN框架在边缘检测精度方面表现如何？

主要发现

• 所提出的PEN框架在Cityscapes数据集上取得了$F^2$得分为60.1%，优于CASENet+Faster（49.2%）与Panoptic FPN*（58.8%）在PED任务中的表现。
• 在Cityscapes上，与Panoptic FPN*相比，PEN在‘stuff’类别上的$F_{edge}$提升了9.5%，在实例类别上提升了16.3%，显著提升了边缘检测质量。
• 对于实例类别，PEN在Cityscapes上实现了$F_{edge}$为67.8%与$F^{2}$为37.6%的性能，相较于Panoptic FPN*在$F^{2}$上提升了16.3%，凸显其在实例级边缘预测中的优越性。
• 在ADE20K上，PEN在实例类别上取得了$F^{2}$为34.5%，超过CASENet+Faster（21.4%）与Panoptic FPN*（14.5%），证实了其在多样化场景下的强泛化能力。
• 定性结果表明，PEN生成的实例边界比Panoptic FPN*更清晰、更准确，后者因ROI Align操作中的重采样导致边缘变粗。
• 消融研究证实，联合训练显著提升了实例边缘检测性能，相较于CASENet+Faster，$F_{edge}$提升了29.8%，表明多任务学习具有显著优势。