[论文解读] StoryDALL-E: Adapting Pretrained Text-to-Image Transformers for Story Continuation

Adyasha Maharana, Darryl Hannan+1 more|arXiv (Cornell University)|Sep 13, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出 StoryDALL-E，一种通过回溯微调（retro-fitting）将预训练文本到图像转换器（如 DALL-E Mega）适配于故事续写任务的方法，引入了用于源图像复制的交叉注意力机制和用于序列上下文的全局故事编码器。该方法在故事续写基准测试中达到最先进性能，优于基于 GAN 的模型，实现了连贯、角色一致的视觉叙事，并提升了对未见情节的泛化能力。

ABSTRACT

Recent advances in text-to-image synthesis have led to large pretrained transformers with excellent capabilities to generate visualizations from a given text. However, these models are ill-suited for specialized tasks like story visualization, which requires an agent to produce a sequence of images given a corresponding sequence of captions, forming a narrative. Moreover, we find that the story visualization task fails to accommodate generalization to unseen plots and characters in new narratives. Hence, we first propose the task of story continuation, where the generated visual story is conditioned on a source image, allowing for better generalization to narratives with new characters. Then, we enhance or 'retro-fit' the pretrained text-to-image synthesis models with task-specific modules for (a) sequential image generation and (b) copying relevant elements from an initial frame. Then, we explore full-model finetuning, as well as prompt-based tuning for parameter-efficient adaptation, of the pre-trained model. We evaluate our approach StoryDALL-E on two existing datasets, PororoSV and FlintstonesSV, and introduce a new dataset DiDeMoSV collected from a video-captioning dataset. We also develop a model StoryGANc based on Generative Adversarial Networks (GAN) for story continuation, and compare it with the StoryDALL-E model to demonstrate the advantages of our approach. We show that our retro-fitting approach outperforms GAN-based models for story continuation and facilitates copying of visual elements from the source image, thereby improving continuity in the generated visual story. Finally, our analysis suggests that pretrained transformers struggle to comprehend narratives containing several characters. Overall, our work demonstrates that pretrained text-to-image synthesis models can be adapted for complex and low-resource tasks like story continuation.

研究动机与目标

• 为解决现有故事可视化模型在泛化至未见角色和情节方面的局限性，提出新任务：故事续写。
• 使预训练文本到图像模型能够基于初始源图像生成连贯、有序的图像叙事，以提升视觉一致性。
• 开发一种参数高效、通过回溯微调适配的预训练转换器（如 DALL-E Mega）方法，用于低资源故事续写任务。
• 引入新数据集 DiDeMoSV，并将现有数据集（PororoSV、FlintstonesSV）重新格式化为故事续写设置以用于评估。
• 对比回溯微调的转换器模型与基于 GAN 的基线模型（StoryGANc）在生成叙事一致图像序列方面的性能。

提出的方法

• 通过引入交叉注意力层，对预训练文本到图像转换器进行回溯微调，以将源图像中的视觉元素复制到后续帧中。
• 引入使用自注意力机制的全局故事情节编码器，以建模跨多个字幕和帧的长距离叙事上下文。
• 在故事续写数据集上端到端微调整个模型，以将预训练知识适配于序列图像生成任务。
• 探索基于提示的微调作为全量微调的参数高效替代方案，以实现模型适配。
• 采用基于 BART 编码器和 VQGAN-VAE 的 DALL-E Mega 架构，以提升图像与字幕的表征能力。
• 在三个数据集上进行训练与评估：PororoSV、FlintstonesSV 和新引入的 DiDeMoSV，这些数据集均源自视频字幕数据集。

实验结果

研究问题

• RQ1 能否通过回溯微调模块有效适配预训练文本到图像模型以提升视觉一致性和叙事连贯性，实现故事续写？
• RQ2 基于源图像进行条件生成是否能提升故事可视化在未见角色和情节上的泛化能力？
• RQ3 回溯微调的基于转换器的模型在故事续写任务中的性能与基于 GAN 的模型（StoryGANc）相比如何？
• RQ4 该模型在多大程度上能够利用预训练知识，生成训练数据中未见的新颖视觉概念？
• RQ5 故事情节中角色数量的多少如何影响模型在帧间维持视觉一致性的能力？

主要发现

• mega-StoryDALL-E 在 PororoSV 上取得 23.48 的 FID 分数，相比 StoryDALL-E（25.90）提升了 2.42 分，证明了使用更大、更强大的预训练模型的优势。
• 在 PororoSV 上，角色分类 F1 从 38.48 提升至 39.91，表明模型在帧间对角色身份的识别能力更强。
• 在 PororoSV 上，帧准确率从 17.26 提升至 18.01，表明生成图像与字幕之间的对齐性得到增强。
• 模型成功将源图像中的视觉元素复制到后续帧中，维持了叙事连贯性，减少了视觉漂移。
• 模型在“制作饼干”和“走路”等明显视觉化的动作上表现最佳，表明其在以动作为中心的视觉生成方面具有强大能力。
• 尽管有所改进，该模型在涉及超过三个角色的叙事中仍表现不佳，表明其在多角色一致性方面存在关键局限。