[论文解读] VisAR: Bringing Interactivity to Static Data Visualizations through Augmented Reality

Taeheon Kim, Bahador Saket+2 more|arXiv (Cornell University)|Aug 4, 2017

Data Visualization and Analytics参考文献 20被引用 12

一句话总结

VisAR 是一种增强现实系统，通过使用 Microsoft HoloLens 在静态可视化图表上实现交互式数据探索。通过将动态、手势和语音控制的可视化效果叠加到静态图表上，该系统使用户能够实时过滤、高亮、链接和深入钻取数据，展示了通过沉浸式交互增强传统可视化可行性的证明。

ABSTRACT

Static visualizations have analytic and expressive value. However, many interactive tasks cannot be completed using static visualizations. As datasets grow in size and complexity, static visualizations start losing their analytic and expressive power for interactive data exploration. Despite this limitation of static visualizations, there are still many cases where visualizations are limited to being static (e.g., visualizations on presentation slides or posters). We believe in many of these cases, static visualizations will benefit from allowing users to perform interactive tasks on them. Inspired by the introduction of numerous commercial personal augmented reality (AR) devices, we propose an AR solution that allows interactive data exploration of datasets on static visualizations. In particular, we present a prototype system named VisAR that uses the Microsoft Hololens to enable users to complete interactive tasks on static visualizations.

研究动机与目标

• 为解决静态可视化在支持交互式数据探索方面的局限性，特别是在演示和海报等通常禁用交互功能的场景中。
• 探索增强现实如何在不依赖动态可视化系统的情况下，扩展静态可视化的内容分析能力。
• 使用户能够通过自然交互技术（例如过滤、深入钻取）对静态可视化图表执行个性化、数据驱动的查询。
• 评估使用 HoloLens 等 AR 设备在现实场景（如学术演示）中实现交互式数据探索的可行性。

提出的方法

• 该系统使用 Microsoft HoloLens 通过空间映射和无标记 AR 技术，在物理空间中检测并跟踪静态可视化图表（例如柱状图、散点图）。
• 用户通过手势（例如“点击”以显示详细信息，“退出”以关闭视图）和语音命令与可视化图表进行交互，以触发如过滤或链接等操作。
• 系统实时将动态、交互式可视化元素（例如弹出式柱状图、上下文细节视图）叠加到静态可视化图表上。
• 系统在用户的个人交互空间与可视化空间之间建立空间-数据协调机制，实现个性化、实时的交互。
• 该界面支持四种核心交互技术：按需显示细节、高亮、过滤和视图链接，所有操作均可通过手势或语音触发。
• 该系统设计为便携且可扩展，可通过跨平台 AR 框架（如 Argon）适配智能手机。

实验结果

研究问题

• RQ1 能否利用增强现实技术在通常不具备交互功能的静态可视化图表上实现交互式数据探索？
• RQ2 在 AR 环境中探索静态数据可视化时，手势和语音交互如何影响用户参与度和任务表现？
• RQ3 在高阶 AR 设备（如 HoloLens）上支持静态内容的交互式数据可视化任务是否具有可行性？
• RQ4 当依赖非显而易见的手势或语音命令时，AR 系统如何使交互功能变得可发现？
• RQ5 AR 在多大程度上可以增强用户对静态可视化图表中数据的理解，例如识别和调查异常值？

主要发现

• VisAR 通过 Microsoft HoloLens 成功实现了基于手势和语音命令的静态可视化图表实时交互式数据探索。
• 该系统使用户能够在静态图表上执行核心分析任务，如过滤、高亮、链接和深入钻取数据细节。
• 用户研究显示，用户能够独立调查感兴趣的数据点（例如在散点图中识别异常值），并通过交互式叠加层获得洞察。
• 该系统支持个性化交互，用户可在自己的空间显示中查看和操作动态可视化，而不会干扰他人。
• 该原型表明，AR 能够有效扩展演示等场景中静态可视化的内容分析能力，而这些场景通常缺乏交互功能。
• 该方法可适配消费级 AR 设备（如智能手机），表明其具有广泛的实际部署潜力。