[论文解读] SketchGNN: Semantic Sketch Segmentation with Graph Neural Networks

Lumin Yang, Jiajie Zhuang+4 more|arXiv (Cornell University)|Mar 2, 2020

Multimodal Machine Learning Applications参考文献 46被引用 5

一句话总结

SketchGNN 提出了一种用于语义草图分割的图神经网络，将自由手绘矢量草图建模为图结构，其中节点为采样点，边编码笔画结构。通过结合静态与动态图卷积，并引入一种新型笔画池化操作，该方法在 SPG 数据集上实现了最先进性能，像素级准确率提升 11.2%，组件级准确率提升 18.2%，同时参数量显著少于基于图像或序列的方法。

ABSTRACT

We introduce SketchGNN, a convolutional graph neural network for semantic segmentation and labeling of freehand vector sketches. We treat an input stroke-based sketch as a graph, with nodes representing the sampled points along input strokes and edges encoding the stroke structure information. To predict the per-node labels, our SketchGNN uses graph convolution and a static-dynamic branching network architecture to extract the features at three levels, i.e., point-level, stroke-level, and sketch-level. SketchGNN significantly improves the accuracy of the state-of-the-art methods for semantic sketch segmentation (by 11.2% in the pixel-based metric and 18.2% in the component-based metric over a large-scale challenging SPG dataset) and has magnitudes fewer parameters than both image-based and sequence-based methods.

研究动机与目标

• 解决现有基于图像和基于序列的方法在草图分割中的局限性，这些方法或忽略笔画结构，或忽略邻近关系信息。
• 通过将自由手绘草图建模为包含丰富空间与结构关系的图，克服其稀疏性与结构模糊性。
• 通过一种新型笔画池化机制，提升单个笔画内部语义标签的一致性。
• 通过引入双分支架构与静态及动态图卷积，增强对草图变化与噪声的鲁棒性。
• 开发一种参数高效的模型，在保持更高准确率的同时，降低模型复杂度，超越现有基于深度学习的方法。

提出的方法

• 将草图表示为二维点集图，其中节点为笔画沿线的采样点，边同时编码内在笔画结构（静态）与基于邻近度的关系（动态）。
• 采用双分支网络：一个分支使用静态边以保留原始笔画拓扑结构，另一分支使用学习得到的动态边以捕捉笔画间的关联关系。
• 提出一种新型笔画池化操作，聚合同一笔画内各点的特征，以提升笔画内部的标签一致性。
• 使用图卷积网络（GCNs）在三个层级提取层次化特征：点级、笔画级与草图级。
• 利用点的绝对坐标自然编码空间邻近度，避免依赖序列模型中使用的相对坐标。
• 在训练过程中应用数据增强——为涂鸦式笔画分配新标签或随机标签——以提升对噪声或不完美草图的鲁棒性。

实验结果

研究问题

• RQ1 基于图的深度学习方法是否能通过更好地建模空间与结构关系，在语义草图分割中超越基于图像和基于序列的方法？
• RQ2 如何设计图神经网络，以在保留笔画级结构的同时捕捉笔画间关系，从而提升分割准确率？
• RQ3 与标准 GCN 层相比，所提出的笔画池化操作在提升单个笔画内部标签一致性方面有多大的增强效果？
• RQ4 在双分支架构中同时使用静态与动态边，对提升对草图噪声与结构变化的鲁棒性有何影响？
• RQ5 基于图的方法是否能以远少于现有基于图像或序列模型的参数量，实现最先进性能？

主要发现

• SketchGNN 在具有挑战性的 SPG 数据集上，相比之前最先进方法，像素级准确率提升 11.2%，组件级准确率提升 18.2%。
• 与基于图像和基于序列的深度学习方法相比，该模型将参数量减少了数量级，显著提升了效率。
• 采用静态与动态边的双分支架构通过平衡结构正确性与关系完整性，显著提升了性能。
• 笔画池化显著增强了笔画内部的标签一致性，减少了单个笔画内的误分类。
• 数据增强策略——将涂鸦式笔画标记为新类或随机已有类别——提升了鲁棒性，尤其在噪声或不完美草图上表现更优。
• 尽管测试数据存在领域差异，该模型在 Huang14 与 TU-Berlin 基准测试中仍表现出色，显示出良好的泛化能力。