[论文解读] Stroke-based sketched symbol reconstruction and segmentation

Kurmanbek Kaiyrbekov, Tevfik Metin Sezgin|arXiv (Cornell University)|Jan 10, 2019

Human Pose and Action Recognition参考文献 30被引用 5

一句话总结

本文提出了一种基于笔画级别的神经网络框架，通过使用来自笔画级变分自编码器（stroke-rnn）的固定编码器和用于分类的多层感知机（MLP），将草图符号分割为语义上有意义的组件。该方法在新标注的大规模数据集和现有基准数据集上均实现了最先进（SOTA）的分割准确率，相较于最佳基线模型平均提升8.1%，相较于先前方法提升2.4%。

ABSTRACT

Hand-drawn objects usually consist of multiple semantically meaningful parts. For example, a stick figure consists of a head, a torso, and pairs of legs and arms. Efficient and accurate identification of these subparts promises to significantly improve algorithms for stylization, deformation, morphing and animation of 2D drawings. In this paper, we propose a neural network model that segments symbols into stroke-level components. Our segmentation framework has two main elements: a fixed feature extractor and a Multilayer Perceptron (MLP) network that identifies a component based on the feature. As the feature extractor we utilize an encoder of a stroke-rnn, which is our newly proposed generative Variational Auto-Encoder (VAE) model that reconstructs symbols on a stroke by stroke basis. Experiments show that a single encoder could be reused for segmenting multiple categories of sketched symbols with negligible effects on segmentation accuracies. Our segmentation scores surpass existing methodologies on an available small state of the art dataset. Moreover, extensive evaluations on our newly annotated big dataset demonstrate that our framework obtains significantly better accuracies as compared to baseline models. We release the dataset to the community.

研究动机与目标

• 为解决在风格化、动画和草图理解等应用中，将手绘符号分割为语义上有意义的组件的挑战。
• 开发一种生成模型，能够从单一的笔画级别训练集重建多种物体类别，实现在不同符号类别之间的可迁移性。
• 构建一个全面的、大规模的标注草图符号数据集，包含组件级别的标签，以支持对分割模型的稳健评估。
• 通过利用来自笔画级别重建模型的固定预训练特征，超越现有分割基线模型。

提出的方法

• 训练一个stroke-rnn模型作为生成式VAE，使用双向RNN编码器和自回归解码器，从矢量化草图中重建单个笔画。
• 将stroke-rnn的编码器用作固定特征提取器，生成编码每个笔画的形状、位置和轮廓信息的潜在向量。
• 在这些固定特征上训练一个多层感知机（MLP），将每个笔画分类到其对应的语义组件（例如，头部、手臂、轮子）。
• 使用包含5个类别共500幅草图的新标注数据集和Huang等人提出的现有基准数据集对框架进行评估。
• 该模型在不同符号类别间复用同一编码器，准确率下降极小，实现了高效的迁移学习。
• 引入基于SVM的基线分割模型（使用IDM特征）进行对比，证明了所提深度学习方法的优越性。

实验结果

研究问题

• RQ1 能否在多个符号类别间有效复用单一的笔画级别VAE编码器进行组件分割，且性能下降极小？
• RQ2 仅基于生成式重建模型提取的特征进行笔画分类的神经网络，是否在符号分割任务中优于传统手工设计的特征方法？
• RQ3 对于生成模型和分割头，模型性能如何随训练集规模增加而变化？
• RQ4 在使用主动学习或策略采样时，少量标注草图是否仍能实现高分割准确率？

主要发现

• 所提出的神经网络模型在作者新标注的数据集上，相较于最佳基线SVM模型，平均准确率提升8.1%。
• 在Huang等人提出的基准数据集上，模型相较于先前最先进方法平均准确率提升2.4%。
• 即使在不同符号类别间复用同一编码器，分割性能依然保持稳定且高效，证明了强大的可迁移性。
• 随着训练集规模从10幅增至200幅，分割准确率持续提升，之后增益逐渐减小，表明存在性能饱和点。
• 仅在500幅符号上训练的编码器即可达到最优性能，表明高质量的笔画级别表征可被高效学习。
• 通过在多个类别间复用单一预训练编码器，该框架显著减少了分割网络的训练时间。