[论文解读] Where Are We So Far? Understanding Data Storytelling Tools from the Perspective of Human-AI Collaboration

Haotian Li, Yun Wang+1 more|arXiv (Cornell University)|Sep 27, 2023

Big Data and Business Intelligence被引用 4

一句话总结

本文提出了一套系统性框架，用于分析数据叙事工具中人机协作的机制，将功能按四个工作流程阶段——分析、规划、实现和沟通——进行分类，并映射创造者、助手、优化者和评审者等角色。研究发现，自2019年以来，人机协作在该领域发展迅速，角色分配与工作流程整合呈现出重复性模式，为自动化、沟通和多智能体协作等方向提供了设计洞见，并指出了未来的研究机遇。

ABSTRACT

Data storytelling is powerful for communicating data insights, but it requires diverse skills and considerable effort from human creators. Recent research has widely explored the potential for artificial intelligence (AI) to support and augment humans in data storytelling. However, there lacks a systematic review to understand data storytelling tools from the perspective of human-AI collaboration, which hinders researchers from reflecting on the existing collaborative tool designs that promote humans' and AI's advantages and mitigate their shortcomings. This paper investigated existing tools with a framework from two perspectives: the stages in the storytelling workflow where a tool serves, including analysis, planning, implementation, and communication, and the roles of humans and AI in each stage, such as creators, assistants, optimizers, and reviewers. Through our analysis, we recognize the common collaboration patterns in existing tools, summarize lessons learned from these patterns, and further illustrate research opportunities for human-AI collaboration in data storytelling.

研究动机与目标

• 理解现有数据叙事工具中，人机协作在叙事工作流程不同阶段的结构化方式。
• 通过分析各阶段中创造者、助手、优化者和评审者等角色，识别人类与AI之间反复出现的协作模式。
• 对2010至2023年间的人机协作数据叙事工具进行系统性综述，突出研究趋势与设计缺口。
• 通过总结经验教训并识别自动化、沟通和多智能体协作等方向的未充分探索研究机会，为未来工具设计提供参考。
• 通过在线工具浏览器（https://human-ai-universe.github.io/data-storytelling）建立可持续的研究资源，以追踪人机协作数据叙事系统的演进。

提出的方法

• 作者从VIS与HCI文献（2010–2023）中构建了论文语料库，聚焦于人机协作的数据叙事工具。
• 采用二维框架：（1）叙事工作流程的阶段——分析、规划、实现和沟通；（2）人与AI协作者的角色——创造者、助手、优化者、评审者。
• 根据各工具在各阶段的覆盖范围以及人类与AI在每个阶段所扮演的特定角色，对每项工具进行编码。
• 分析识别出常见的协作模式、设计趋势以及各阶段与角色之间的差异。
• 采用定性综合方法，从编码数据中提取设计原则、挑战与研究机会。
• 作者开发并维护一个在线工具浏览器（https://human-ai-universe.github.io/data-storytelling），用于追踪和更新此类工具的演进格局。

实验结果

研究问题

• RQ1 人机协作的数据叙事工具在数据叙事的各个阶段——分析、规划、实现和沟通——中，如何分配角色？
• RQ2 现有数据叙事工具中，人类与AI之间的主导协作模式是什么？这些模式在不同阶段有何差异？
• RQ3 在分析人机协作的数据叙事工具时，会涌现出哪些设计原则与挑战？
• RQ4 2010至2023年间，人机协作在数据叙事研究中的关注焦点如何演变？
• RQ5 在人机协作数据叙事系统中，提升自动化、沟通与多智能体协作方面，存在哪些未来研究机会？

主要发现

• 自2019年以来，人机协作的数据叙事工具获得了显著的研究关注，此前2016至2018年期间则以纯人工工具为主导。
• 最常见的协作模式是：AI在数据分析与可视化生成中充当助手，而人类在规划与沟通阶段担任创造者与评审者。
• AI最常用于支持数据事实发现、可视化推荐与反馈生成，而人类则贡献领域知识、创造力与情境意识。
• 优化者与评审者角色较少被实现，表明在叙事工作流中对AI进行质量评估与精细化处理的潜力尚未被充分挖掘。
• 支持多人协作与多AI协作的工具存在显著缺口，提示在复杂叙事环境中对协调机制的新兴需求。
• 本研究识别出人类与AI之间的沟通方式（如编程、草图、手势等）为研究投入不足但潜力巨大的领域，值得未来深入探索。