[论文解读] Sketch-BERT: Learning Sketch Bidirectional Encoder Representation from Transformers by Self-supervised Learning of Sketch Gestalt

Hangyu Lin, Yanwei Fu+2 more|arXiv (Cornell University)|May 19, 2020

Advanced Image and Video Retrieval Techniques参考文献 31被引用 8

一句话总结

Sketch-BERT 提出了一种基于 Transformer 架构的自监督预训练框架，用于草图表征学习，引入了一项新颖的草图格式塔（sGesta）任务，以预测被遮蔽的点位置和状态。通过在 QuickDraw 数据集上使用该任务进行预训练，Sketch-BERT 在草图识别、检索和生成重建任务上均取得了最先进性能，显著提升了基线模型在下游任务中的收敛速度与准确率。

ABSTRACT

Previous researches of sketches often considered sketches in pixel format and leveraged CNN based models in the sketch understanding. Fundamentally, a sketch is stored as a sequence of data points, a vector format representation, rather than the photo-realistic image of pixels. SketchRNN studied a generative neural representation for sketches of vector format by Long Short Term Memory networks (LSTM). Unfortunately, the representation learned by SketchRNN is primarily for the generation tasks, rather than the other tasks of recognition and retrieval of sketches. To this end and inspired by the recent BERT model, we present a model of learning Sketch Bidirectional Encoder Representation from Transformer (Sketch-BERT). We generalize BERT to sketch domain, with the novel proposed components and pre-training algorithms, including the newly designed sketch embedding networks, and the self-supervised learning of sketch gestalt. Particularly, towards the pre-training task, we present a novel Sketch Gestalt Model (SGM) to help train the Sketch-BERT. Experimentally, we show that the learned representation of Sketch-BERT can help and improve the performance of the downstream tasks of sketch recognition, sketch retrieval, and sketch gestalt.

研究动机与目标

• 为解决基于 CNN 的模型将草图视为 2D 图像而非序列向量数据的局限性。
• 开发一种通用草图表征模型，使其在识别、检索和生成任务中均具有泛化能力。
• 提出一项新颖的自监督预训练任务——草图格式塔（Sketch Gestalt），利用格式塔原理恢复被遮蔽的草图点。
• 将 BERT 框架适配至草图领域，引入领域特定的嵌入表示与优化后的架构。
• 证明通过草图格式塔进行预训练可提升下游性能并加速收敛。

提出的方法

• 提出三级嵌入机制：点嵌入、位置嵌入和线段嵌入，专为向量格式的序列草图数据设计。
• 引入一种精炼嵌入网络，将原始草图标记映射到 Transformer 输入空间。
• 设计一种新颖的草图格式塔模型（SGM），受 BERT 的遮蔽语言建模启发，同时预测被遮蔽草图点的连续位置与离散状态值。
• 采用多头、权重共享的 Transformer 编码器，通过自注意力机制建模草图序列中的长距离依赖关系。
• 使用双目标自监督预训练任务：遮蔽位置预测与遮蔽状态预测。
• 在下游任务（如草图分类、检索与格式塔重建）上微调预训练后的 Sketch-BERT。

实验结果

研究问题

• RQ1 能否有效将类似 BERT 的 Transformer 模型适配至序列向量数据，以学习通用草图表征？
• RQ2 通过草图格式塔任务进行自监督预训练——即恢复被遮蔽的草图点——是否能提升下游草图理解性能？
• RQ3 架构选择（如深度、宽度与嵌入设计）如何影响 Sketch-BERT 在草图任务上的表现？
• RQ4 在大规模草图数据上进行预训练是否能减少下游任务收敛所需的训练轮数？
• RQ5 在生成式草图重建任务中，Sketch-BERT 与基于 CNN 的模型相比表现如何？

主要发现

• 在草图分类任务中，Sketch-BERT 达到 88.30% 的 top-1 准确率与 97.82% 的 top-5 准确率，优于基线模型。
• 在草图检索任务中，Sketch-BERT 实现 85.47% 的 top-1 准确率与 93.49% 的 top-5 准确率，展现出强大的泛化能力。
• 在 QuickDraw 数据集中使用 70K 个样本进行预训练，可将下游任务收敛所需的训练轮数从约 50 轮减少至约 5 轮，显著加速训练过程。
• 深度为 8 层、注意力头数为 12 个、隐藏层尺寸为 768 的架构（即 8-12-768）在性能与收敛速度之间达到最佳平衡。
• 草图格式塔任务极为有效：基于 CNN 的模型因产生伪影而无法重建复杂草图，而 Sketch-BERT 成功学习到了结构与语义模式。
• 增加每类的训练样本数量可使 top-1 准确率最高提升 3%；而增加类别数量则未带来显著性能增益。