[论文解读] Vectorization and Rasterization: Self-Supervised Learning for Sketch and Handwriting

Ayan Kumar Bhunia, Pinaki Nath Chowdhury+4 more|arXiv (Cornell University)|Mar 25, 2021

Multimodal Machine Learning Applications参考文献 64被引用 8

一句话总结

本文提出了一种自监督学习框架，通过利用位图图像与向量坐标序列之间的跨模态转换（向量化，即图像转为向量；光栅化，即向量转为图像），对草图和手写数据进行学习，以获得强大且可泛化的表征。该方法在草图识别、检索和手写任务上优于现有的自监督方法，甚至在某些全监督基线方法之上，使用自监督预训练在QuickDraw数据集上实现了71.9%的top-1准确率。

ABSTRACT

Self-supervised learning has gained prominence due to its efficacy at learning powerful representations from unlabelled data that achieve excellent performance on many challenging downstream tasks. However supervision-free pre-text tasks are challenging to design and usually modality specific. Although there is a rich literature of self-supervised methods for either spatial (such as images) or temporal data (sound or text) modalities, a common pre-text task that benefits both modalities is largely missing. In this paper, we are interested in defining a self-supervised pre-text task for sketches and handwriting data. This data is uniquely characterised by its existence in dual modalities of rasterized images and vector coordinate sequences. We address and exploit this dual representation by proposing two novel cross-modal translation pre-text tasks for self-supervised feature learning: Vectorization and Rasterization. Vectorization learns to map image space to vector coordinates and rasterization maps vector coordinates to image space. We show that the our learned encoder modules benefit both raster-based and vector-based downstream approaches to analysing hand-drawn data. Empirical evidence shows that our novel pre-text tasks surpass existing single and multi-modal self-supervision methods.

研究动机与目标

• 通过实现自监督表征学习，解决草图与手写分析中的数据标注瓶颈问题。
• 利用草图与手写数据的双重位图/向量特性作为共享的监督信号。
• 设计一个统一的预训练任务，同时惠及基于图像和基于序列的下游模型。
• 在监督学习不切实际的低数据场景下，提升性能表现。
• 实现在草图与手写数据之间的跨模态与跨任务迁移学习。

提出的方法

• 提出两种新颖的跨模态预训练任务：向量化（将位图图像映射为向量序列）与光栅化（将向量序列映射为位图图像）。
• 使用共享的编码器主干网络（如ResNet）从两种模态中提取特征，并为每个翻译方向配备独立的解码器。
• 采用对比学习对来自同一草图在不同模态下的特征进行对齐，以鼓励学习到解耦且语义丰富的表征。
• 应用标准的数据增强策略（如水平翻转、随机裁剪）以提升鲁棒性，尽管在不同增强策略下结果均保持稳定。
• 通过在线性探测在冻结的特征上进行评估，即在学习到的表征之上添加一个线性分类器。
• 通过拼接两种模态的特征，进一步提升下游任务的性能。

实验结果

研究问题

• RQ1 位图图像与向量序列之间的跨模态转换能否作为草图与手写数据的有效自监督预训练任务？
• RQ2 所提出的方法是否能学习到在不同草图类别与数据集之间具有泛化能力的表征？
• RQ3 从一种模态（如图像）学习到的特征能否有效迁移至另一种模态（如向量）以支持下游任务？
• RQ4 在草图与手写识别任务上，该方法相较于SimCLR、MoCo、CPC等现有自监督方法的性能表现如何？
• RQ5 在低数据场景下，自监督特征能否达到甚至超越全监督基线方法的性能？

主要发现

• 在80个未见的QuickDraw类别上评估时，该方法在草图图像上达到65.1%的top-1准确率，在向量上达到58.4%，显著优于SimCLR（图像上为53.6%）。
• 在从QuickDraw到TU-Berlin的数据集间泛化任务中，该方法在草图图像上达到58.9%的top-1准确率，在向量上达到36.9%，展现出强大的迁移能力。
• 在跨任务泛化评估中，该模型在手写数据上的草图图像上达到37.6%的top-1准确率，在向量上达到33.7%，优于CPC与随机基线方法。
• 通过联合融合图像与向量模态的特征，top-1准确率提升至72.8%，超过仅使用位图图像时的71.9%。
• 该方法在不同主干网络架构上均表现出良好泛化能力，在AlexNet上达到63.3%的top-1准确率，在ResNet50上达到71.9%，证实了其设计的鲁棒性。
• 在低数据场景下，该模型超越了全监督基线方法，并且仅通过自监督预训练即可接近全监督方法的性能。