[论文解读] StrokeCoder: Path-Based Image Generation from Single Examples using Transformers

Sabine Wieluch, Friedhelm Schwenker|arXiv (Cornell University)|Mar 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 4

一句话总结

StrokeCoder 提出了一种基于 Transformer 的生成模型，能够仅从单张手绘草图中学习生成多样且风格一致的基于路径的图像。通过对手绘路径应用路径变换并使用动态数据打乱的 Transformer 编码器进行训练，该模型在保持关键风格特征的同时生成了多样化且连贯的草图。人类评估结果显示，风格偏差的平均值为 12 个形容词中的 2.94，验证了其出色的风格保持能力。

ABSTRACT

This paper demonstrates how a Transformer Neural Network can be used to learn a Generative Model from a single path-based example image. We further show how a data set can be generated from the example image and how the model can be used to generate a large set of deviated images, which still represent the original image's style and concept.

研究动机与目标

• 开发一种仅使用单张示例草图的单次生成模型，用于生成基于路径的图像。
• 在生成多样化变体的同时，保留原始草图的风格和概念结构。
• 通过极少量的训练数据，支持创意设计工具和数字制造工作流程。
• 探索 Transformer 在基于路径的图像生成中序列生成任务中的有效性。

提出的方法

• 将每张草图表示为线段序列，并将其展平为单个标记序列，输入到 Transformer 模型中。
• 使用带有学习位置编码的 Transformer 编码器，以建模笔画路径中的序列依赖关系。
• 通过在原始草图上应用路径变换（如缩放、旋转、翻转）来生成合成训练数据。
• 在训练周期中实施动态数据打乱，以防止对有限样本的过拟合。
• 在推理阶段应用 top-k 采样，并调整 k 值以控制多样性与保真度之间的权衡。
• 对笔画序列采用类似词嵌入的向量化表示，随后通过线性层和 Softmax 层进行标记预测。

实验结果

研究问题

• RQ1 是否可以使用单张草图作为训练数据，训练出一个能够生成多样且风格一致的基于路径图像的生成模型？
• RQ2 在该场景下，无解码器的 Transformer 编码器在序列生成任务中的有效性如何？
• RQ3 数据增强和动态数据打乱对从单一样本中提升模型泛化能力有何影响？
• RQ4 不同的采样策略（如 k=1 与 k=10）如何影响生成草图的多样性与质量？
• RQ5 生成图像在多大程度上保留了原始草图的风格特征？

主要发现

• 该模型通过数据增强和动态训练打乱策略，成功从单张草图生成了多样且连贯的基于路径的图像。
• 使用 top-k 采样且 k=10 时，生成的图像多样性显著高于贪婪采样（k=1），尽管风格保真度略有下降。
• 贪婪采样（k=1）导致重复性高、多样性低的输出，但与原始风格的对齐度极高。
• 人类评估显示，风格偏差的平均值为 12 个形容词中的 2.94，表明核心风格特征得到了良好保留。
• 该模型在复制精确笔画定位和空间布局方面表现最弱，尤其是在对称或结构化草图（如“方框”和“尖刺”）中。
• 初始化向量长度为序列长度一半时性能最优，平衡了模型清晰度与序列理解能力。