[论文解读] SketchGCN: Semantic Sketch Segmentation with Graph Convolutional Networks.

Lumin Yang, Jiajie Zhuang+3 more|arXiv (Cornell University)|Mar 2, 2020

Multimodal Machine Learning Applications参考文献 47被引用 18

一句话总结

SketchGCN 提出了一种图卷积网络，将手绘草图建模为二维点集，通过将笔画结构编码为图表示，实现精确的语义分割。通过采用带有图卷积的全局-局部分支架构，该方法在 SPG 数据集上实现了最先进性能——在像素级准确率上提升 11.4%，在组件级准确率上提升 18.2%，同时参数量显著少于基于图像或序列的方法。

ABSTRACT

We introduce SketchGCN, a graph convolutional neural network for semantic segmentation and labeling of free-hand sketches. We treat an input sketch as a 2D pointset, and encode the stroke structure information into graph node/edge representations. To predict the per-point labels, our SketchGCN uses graph convolution and a global-local branching network architecture to extract both intra-stroke and inter-stroke features. SketchGCN significantly improves the accuracy of the state-of-the-art methods for semantic sketch segmentation (by 11.4% in the pixel-basedmetric and 18.2% in the component-based metric over a large-scale challenging SPG dataset) and has magnitudes fewer parameters than both image-based and sequence-based methods.

研究动机与目标

• 为解决手绘草图中语义草图分割的挑战，其中笔画结构和空间关系对准确标注至关重要。
• 改进现有基于图像和序列的方法，这些方法或忽略结构关系，或需要大量参数。
• 开发一种轻量化但强大的模型，以捕捉笔画内与笔画间特征，实现精确的逐点语义标注。

提出的方法

• 将输入草图视为二维点集，每个点表示为图中的一个节点，边用于编码局部笔画结构和空间邻近性。
• 应用图卷积层从点集图中提取分层特征，捕捉局部与全局结构模式。
• 采用全局-局部分支网络架构，同时学习笔画内特征（单个笔画内部）和笔画间特征（相连或邻近笔画之间）。
• 通过消息传递机制学习节点和边的表示，聚合图中邻近节点的信息。
• 最终预测头利用图网络中融合的全局与局部特征，生成逐点语义标签。
• 采用交叉熵损失函数进行端到端训练，以优化分割准确率。

实验结果

研究问题

• RQ1 基于图的深度学习方法是否能在语义草图分割任务中超越现有的基于图像和序列的方法？
• RQ2 图卷积网络在手绘草图中能否有效捕捉笔画内与笔画间结构关系？
• RQ3 与标准 GCN 或全连接基线相比，所提出的全局-局部分支架构在多大程度上提升了分割准确率？
• RQ4 基于图的模型是否能以显著更少的参数量实现最先进性能？

主要发现

• SketchGCN 在 SPG 数据集上相比先前最先进方法，像素级分割准确率提升了 11.4%。
• 组件级分割准确率提升了 18.2%，表明其在处理结构化草图元素方面表现更优。
• 与基于图像和序列的方法相比，该模型参数量少几个数量级，展现出极高的参数效率。
• 全局-局部分支设计有效捕捉了细粒度的笔画级细节与更广泛的结构上下文，从而提升了分割性能。