[论文解读] Photo-Sketching: Inferring Contour Drawings from Images

Mengtian Li, Zhe Lin+3 more|arXiv (Cornell University)|Jan 2, 2019

Advanced Vision and Imaging参考文献 41被引用 7

一句话总结

本文提出一种基于学习的方法，通过引入一个由人工标注的轮廓草图新数据集，从自然图像生成逼真的轮廓图。与传统边界检测器不同，该模型能够捕捉显著的内部边缘和遮挡轮廓，同时容忍标注对齐不完美，在BSDS500上微调后，实现了显著边界检测的最先进性能。

ABSTRACT

Edges, boundaries and contours are important subjects of study in both computer graphics and computer vision. On one hand, they are the 2D elements that convey 3D shapes, on the other hand, they are indicative of occlusion events and thus separation of objects or semantic concepts. In this paper, we aim to generate contour drawings, boundary-like drawings that capture the outline of the visual scene. Prior art often cast this problem as boundary detection. However, the set of visual cues presented in the boundary detection output are different from the ones in contour drawings, and also the artistic style is ignored. We address these issues by collecting a new dataset of contour drawings and proposing a learning-based method that resolves diversity in the annotation and, unlike boundary detectors, can work with imperfect alignment of the annotation and the actual ground truth. Our method surpasses previous methods quantitatively and qualitatively. Surprisingly, when our model fine-tunes on BSDS500, we achieve the state-of-the-art performance in salient boundary detection, suggesting contour drawing might be a scalable alternative to boundary annotation, which at the same time is easier and more interesting for annotators to draw.

研究动机与目标

• 弥合现有边界检测方法在捕捉轮廓图中显著内部边缘和艺术风格方面的不足。
• 开发一种可扩展、面向人类的轮廓草图数据收集方法，利用带有实时反馈的游戏化界面。
• 构建一种基于学习的模型，其泛化能力超越轮廓生成，可提升显著边界检测性能。
• 证明轮廓草图标注相较于精确边界标注，对人类标注者而言更具直观性和可扩展性。

提出的方法

• 收集5,000张人工标注的轮廓草图新数据集，标注与真实边界保持松散对齐，强调显著轮廓和艺术性瑕疵。
• 设计一种基于游戏的数据收集界面，玩家在绘制靠近预测边界点时获得实时奖励，偏离时受到惩罚。
• 训练深度神经网络，从输入图像预测轮廓图，损失函数设计鼓励在标注可变性下仍与人工绘制轮廓保持对齐。
• 在BSDS500上对模型进行微调，以评估其在显著边界检测任务上的性能，利用轮廓表征的泛化能力。
• 通过AI评分系统实现自动质量控制，基于与预测奖励/惩罚点的接近程度，筛选低质量草图。
• 通过迭代更新模型和奖励点，实现闭环机制，支持草图生成系统的持续改进。

实验结果

研究问题

• RQ1 作为艺术性草图的一种形式，轮廓图能否作为训练视觉模型的更可扩展、更直观的替代方案，取代精确边界标注？
• RQ2 在轮廓草图上训练的模型，在多大程度上能泛化以提升标准显著边界检测基准的性能？
• RQ3 带有实时反馈的游戏化界面在大规模收集高质量、多样化轮廓草图数据方面有多有效？
• RQ4 深度学习模型能否学习生成反映人类艺术风格和瑕疵的轮廓图，同时保持几何准确性？

主要发现

• 所提方法在轮廓图生成的定量指标和定性评估中均优于以往方法。
• 在BSDS500上微调后，该模型在显著边界检测任务中达到最先进性能，优于专用边界检测模型。
• AI评分系统在初始数据集中成功识别出90%的不合格草图，在新测试集中识别出96%的不合格草图，证明了自动质量控制的有效性。
• 人工标注者表示草图任务有趣且具有吸引力，表明轮廓草图标注比传统边界标注更具吸引力。
• 该模型学会生成不仅包含物体边界，还包含显著内部边缘（如遮挡轮廓和尖点特征）的轮廓。
• 基于游戏的数据收集系统实现了可扩展、低成本的数据获取，标注负担极低，支持模型的持续改进。