[论文解读] Using Large Language Models to Generate Engaging Captions for Data Visualizations

Ashley Liew, Klaus Mueller|arXiv (Cornell University)|Dec 27, 2022

Data Visualization and Analytics被引用 7

一句话总结

本文研究了大型语言模型（LLMs），特别是 GPT-3，在生成吸引人、具有新闻报道风格的数据可视化字幕（如散点图）方面的应用。通过精心设计的提示工程，作者证明 LLM 能够生成引人入胜、类人的字幕，超越基本的数据观察，显著提升观众参与度和叙事质量。

ABSTRACT

Creating compelling captions for data visualizations has been a longstanding challenge. Visualization researchers are typically untrained in journalistic reporting and hence the captions that are placed below data visualizations tend to be not overly engaging and rather just stick to basic observations about the data. In this work we explore the opportunities offered by the newly emerging crop of large language models (LLM) which use sophisticated deep learning technology to produce human-like prose. We ask, can these powerful software devices be purposed to produce engaging captions for generic data visualizations like a scatterplot. It turns out that the key challenge lies in designing the most effective prompt for the LLM, a task called prompt engineering. We report on first experiments using the popular LLM GPT-3 and deliver some promising results.

研究动机与目标

• 为解决为数据可视化创建吸引人、不平庸的字幕所面临的挑战，这些字幕通常因可视化研究人员缺乏新闻报道训练而局限于基本的数据观察。
• 探索大型语言模型（LLMs）在生成引人入胜、类人叙述性文字方面用于数据可视化字幕的潜力。
• 识别能最大化 LLM 生成字幕质量与参与度的有效提示工程策略。
• 评估 LLM 是否能生成比传统描述性字幕更具叙事性、洞察力和吸引力的字幕。

提出的方法

• 利用 GPT-3 语言模型基于输入的数据可视化（包括散点图）生成字幕。
• 设计结构化提示，包含关于可视化类型、数据趋势和期望语气（如新闻报道风格、引人入胜）的上下文信息。
• 应用少样本提示法，通过示例输入-输出对引导模型生成期望的字幕风格。
• 将元数据（如坐标轴标签、数据范围、观察到的趋势）整合到提示中，以提高字幕的相关性。
• 通过定性评估对提示进行迭代优化，以提升参与度与信息量。
• 使用零样本提示作为基线，与工程化提示进行对比。

实验结果

研究问题

• RQ1 大型语言模型能否生成比标准描述性字幕更具吸引力和叙事性的数据可视化字幕？
• RQ2 在可视化场景中，哪些提示工程策略最有效，能从 LLM 中激发高质量、吸引人的字幕？
• RQ3 LLM 生成的字幕在叙事质量与参与度方面与人工撰写的字幕相比如何？
• RQ4 GPT-3 在在多大程度上能够生成超越表面数据观察的深层洞察？

主要发现

• 与零样本提示相比，提示工程显著提升了 LLM 生成字幕的质量与参与度。
• LLM 生成的字幕被认为比标准描述性字幕更具吸引力，且语气更接近新闻报道风格。
• 将上下文元数据（如数据趋势、坐标轴标签）纳入提示，使生成的字幕更准确、更相关。
• 通过示例字幕进行少样本提示，提升了输出的一致性与叙事质量。
• 该模型成功生成了包含洞察力与叙事元素的字幕，超越了简单的数据描述。