[论文解读] Paint4Poem: A Dataset for Artistic Visualization of Classical Chinese Poems

Dan Li, Shuai Wang+5 more|arXiv (Cornell University)|Sep 23, 2021

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 5

一句话总结

本文提出 Paint4Poem，一个用于古典中文诗歌艺术化视觉呈现的新数据集，包含从艺术家丰子恺作品中手工精选的301对诗画配对，以及通过网络爬取和图像风格分类技术收集的92,852对额外配对（3,648对图文配对与89,204对诗画配对）。基准评估显示，当前最先进文本到图像生成模型（AttnGAN 和 MirrorGAN）能够生成高质量、风格准确的绘画，但在完全捕捉诗歌语义含义方面仍存在困难。

ABSTRACT

In this work we propose a new task: artistic visualization of classical Chinese poems, where the goal is to generatepaintings of a certain artistic style for classical Chinese poems. For this purpose, we construct a new dataset called Paint4Poem. Thefirst part of Paint4Poem consists of 301 high-quality poem-painting pairs collected manually from an influential modern Chinese artistFeng Zikai. As its small scale poses challenges for effectively training poem-to-painting generation models, we introduce the secondpart of Paint4Poem, which consists of 3,648 caption-painting pairs collected manually from Feng Zikai's paintings and 89,204 poem-painting pairs collected automatically from the web. We expect the former to help learning the artist painting style as it containshis most paintings, and the latter to help learning the semantic relevance between poems and paintings. Further, we analyze Paint4Poem regarding poem diversity, painting style, and the semantic relevance between poems and paintings. We create abenchmark for Paint4Poem: we train two representative text-to-image generation models: AttnGAN and MirrorGAN, and evaluate theirperformance regarding painting pictorial quality, painting stylistic relevance, and semantic relevance between poems and paintings.The results indicate that the models are able to generate paintings that have good pictorial quality and mimic Feng Zikai's style, but thereflection of poem semantics is limited. The dataset also poses many interesting research directions on this task, including transferlearning, few-shot learning, text-to-image generation for low-resource data etc. The dataset is publicly available.(https://github.com/paint4poem/paint4poem)

研究动机与目标

• 为解决古典中文诗歌艺术化视觉呈现任务中缺乏数据集的问题，该任务连接了文学与视觉艺术。
• 使机器学习模型能够生成反映古典诗歌语义内容的特定艺术风格（丰子恺风格）的绘画。
• 通过提供一个富含文化内涵、低资源的数据集，支持少样本学习、迁移学习和低资源文本到图像生成的研究。
• 建立一个基准，用于评估生成绘画的图像质量、风格相关性以及语义一致性。

提出的方法

• 构建双阶段数据集：使用来自丰子恺作品的301对高质量诗画配对（Zikai-Poem）用于训练和测试。
• 从丰子恺的绘画中人工收集3,648对图文配对，以学习其独特的艺术风格。
• 通过爬虫脚本和图像风格分类模型，自动从网络上收集89,204对诗画配对，以确保诗歌与传统中国画风格一致。
• 利用该数据集训练并评估两种最先进文本到图像生成模型：AttnGAN 和 MirrorGAN。
• 从三个维度评估模型性能：图像质量、与丰子恺风格的风格相关性，以及输入诗歌与生成图像之间的语义一致性。
• 利用诗歌注释和图像标题等元数据，增强语义理解，弥合语言与视觉之间的鸿沟。

实验结果

研究问题

• RQ1 文本到图像生成模型能否有效学习从古典中文诗歌中生成丰子恺艺术风格的绘画？
• RQ2 在生成对应绘画时，模型在多大程度上能够捕捉古典中文诗歌的语义内容？
• RQ3 与纯自动化数据收集相比，人工标注的图文配对在提升风格学习方面有何改进作用？
• RQ4 当前文本到图像模型在为低资源、具有文化特异性的诗歌文本生成语义一致的绘画方面存在哪些局限？
• RQ5 迁移学习或少样本学习策略是否能提升在此项低资源、高语义复杂度任务上的表现？

主要发现

• AttnGAN 和 MirrorGAN 模型成功生成了图像质量高、且与丰子恺作品风格高度相似的绘画。
• 尽管在视觉质量和风格相似性方面表现良好，这些模型在生成图像中反映输入古典中文诗歌语义内容方面能力有限。
• 包含3,648对人工标注的图文配对显著提升了模型学习丰子恺独特艺术风格的能力。
• 尽管规模庞大，但通过自动方式收集的89,204对诗画配对在语义一致性方面效果较差，原因在于网络爬取数据可能存在噪声和错配。
• Paint4Poem 数据集为少样本学习、迁移学习以及零样本生成在低资源、具有文化特异性的文本到图像任务中开辟了新的研究方向。
• 数据集的元数据（包括诗歌注释和图像标题）为改善文本到图像生成中的语义定位提供了宝贵信号。