[论文解读] Towards Natural Language-Based Visualization Authoring

Yun Wang, Zhitao Hou+6 more|arXiv (Cornell University)|Aug 23, 2022

Software Engineering Research被引用 6

一句话总结

本文提出了一种基于自然语言的可视化创作流水线，通过可执行的'编辑操作'将语言理解与可视化工具解耦——这些结构化命令模拟了用户的编辑意图。基于深度学习的自然语言解释器将自然语言翻译为这些操作，实现在Excel和概念验证编辑器VisTalk等工具间的复用，用户研究验证了其可用性。

ABSTRACT

A key challenge to visualization authoring is the process of getting familiar with the complex user interfaces of authoring tools. Natural Language Interface (NLI) presents promising benefits due to its learnability and usability. However, supporting NLIs for authoring tools requires expertise in natural language processing, while existing NLIs are mostly designed for visual analytic workflow. In this paper, we propose an authoring-oriented NLI pipeline by introducing a structured representation of users' visualization editing intents, called editing actions, based on a formative study and an extensive survey on visualization construction tools. The editing actions are executable, and thus decouple natural language interpretation and visualization applications as an intermediate layer. We implement a deep learning-based NL interpreter to translate NL utterances into editing actions. The interpreter is reusable and extensible across authoring tools. The authoring tools only need to map the editing actions into tool-specific operations. To illustrate the usages of the NL interpreter, we implement an Excel chart editor and a proof-of-concept authoring tool, VisTalk. We conduct a user study with VisTalk to understand the usage patterns of NL-based authoring systems. Finally, we discuss observations on how users author charts with natural language, as well as implications for future research.

研究动机与目标

• 通过支持自然语言输入，解决复杂可视化创作工具的学习曲线陡峭问题。
• 克服现有以分析为导向的NLI的局限性，后者不支持丰富的编辑意图，如标记自定义或布局更改。
• 通过标准化的中间层——可执行编辑操作——将自然语言理解与可视化应用程序解耦。
• 通过将编辑操作抽象为共享的操作格式，实现在不同创作工具间复用自然语言解释器。
• 通过在Excel和概念验证工具VisTalk中的实现，证明该框架的可行性，并通过用户研究加以验证。

提出的方法

• 将'编辑操作'定义为包含操作、目标对象和参数的结构化元组，以建模可视化编辑意图。
• 开展形成性研究和文献调研，识别可视化工具中使用的核心编辑操作、对象和参数。
• 设计多阶段自然语言解释器：第一阶段，实体识别与抽象参数替换；第二阶段，序列标注以提取意图和实体；第三阶段，合成一系列编辑操作。
• 使用深度序列标注模型进行意图和实体提取，支持通过更多训练数据实现可扩展性和可扩展性。
• 在可视化工具中实现操作映射器，将编辑操作转换为工具特定的命令。
• 通过两种实现评估该流水线：Excel图表编辑器和VisTalk，一个概念验证创作工具。

实验结果

研究问题

• RQ1 如何系统地将表达可视化编辑意图的自然语言语句建模为可执行操作？
• RQ2 共享的自然语言解释器在不同可视化创作工具之间复用的程度如何？
• RQ3 用户如何自然地用自然语言表达可视化编辑命令，其使用中呈现出哪些模式？
• RQ4 在通过自然语言支持多样化的编辑意图（如标记更改、布局调整和数据绑定）时，面临哪些关键挑战？
• RQ5 系统如何在保持准确性和可用性的前提下，处理用户语句中的歧义和多样性？

主要发现

• 所提出的编辑操作抽象能有效建模多样化的可视化编辑意图，包括数据绑定、标记自定义和布局调整。
• 基于深度学习的自然语言解释器能有效将自然语言解析为结构化编辑操作，支持跨工具复用。
• VisTalk的用户研究显示，用户能够有效使用自然语言创建和修改可视化，且更倾向于使用高层级命令。
• 该框架通过同一解释器同时支持高层级创建（如“创建一个柱状图”）和低层级编辑（如“将颜色更改为粉色”或“将图例移至右侧”）。
• 自然语言解释器与可视化应用之间的关注点分离，支持模块化开发和更易维护。
• 研究凸显了在用户输入不支持命令时，需要更好的命令推荐机制，提示未来工作应聚焦于上下文感知的反馈。