[论文解读] Plotly-Resampler: Effective Visual Analytics for Large Time Series

Jonas Van Der Donckt, Jeroen Van Der Donckt+2 more|arXiv (Cornell University)|Jun 17, 2022

Data Visualization and Analytics被引用 4

一句话总结

Plotly-Resampler 是一个开源的 Python 库，通过在 Plotly 仪表板中根据当前视图动态聚合数据，实现对大规模时间序列的交互式、可扩展可视化。它通过将聚合操作卸载到后端，即使在处理数百万个数据点时也能实现亚秒级响应速度，显著优于其他工具在可扩展性和交互性基准测试中的表现。

ABSTRACT

Visual analytics is arguably the most important step in getting acquainted with your data. This is especially the case for time series, as this data type is hard to describe and cannot be fully understood when using for example summary statistics. To realize effective time series visualization, four requirements have to be met; a tool should be (1) interactive, (2) scalable to millions of data points, (3) integrable in conventional data science environments, and (4) highly configurable. We observe that open source Python visualization toolkits empower data scientists in most visual analytics tasks, but lack the combination of scalability and interactivity to realize effective time series visualization. As a means to facilitate these requirements, we created Plotly-Resampler, an open source Python library. Plotly-Resampler is an add-on for Plotly's Python bindings, enhancing line chart scalability on top of an interactive toolkit by aggregating the underlying data depending on the current graph view. Plotly-Resampler is built to be snappy, as the reactivity of a tool qualitatively affects how analysts visually explore and analyze data. A benchmark task highlights how our toolkit scales better than alternatives in terms of number of samples and time series. Additionally, Plotly-Resampler's flexible data aggregation functionality paves the path towards researching novel aggregation techniques. Plotly-Resampler's integrability, together with its configurability, convenience, and high scalability, allows to effectively analyze high-frequency data in your day-to-day Python environment.

研究动机与目标

• 解决 Python 数据科学工作流中缺乏可扩展、交互式时间序列可视化工具的问题。
• 克服在渲染数百万个数据点时交互性与性能之间的权衡。
• 实现与现有 Python 环境（如 Jupyter Notebook 和 Dash 应用）的无缝集成。
• 提供一个高度可配置、可扩展的平台，用于可视化分析及时间序列聚合技术的研究。
• 确保在缩放和拖拽过程中实现响应迅速、实时的交互，通过高效的客户端-服务器数据更新实现。

提出的方法

• 作为装饰器（FigureResampler）集成在 Plotly 的 Python 可视化后端之上。
• 将可视化拆分为前端（显示聚合数据）和后端（存储完整数据集并处理视图变化）。
• 使用动态回调：在缩放/拖拽事件发生时，前端将新的视图范围（relayoutData）发送至后端。
• 后端默认使用高效的 LTTB 算法启发式方法执行按需数据聚合。
• 仅将更新后的聚合数据（updateData）发送回前端进行渲染，最大限度减少网络开销。
• 通过 [R] 前缀和图例中的估计分箱大小标识聚合数据，以防止对下采样数据的误解。

实验结果

研究问题

• RQ1 如何在不牺牲响应速度的前提下，使交互式时间序列可视化可扩展至数百万个数据点？
• RQ2 动态数据聚合在高频时间序列实时可视化分析中的性能提升程度如何？
• RQ3 能否构建一个轻量级、可扩展的工具包，无缝集成到现有的 Python 数据科学工作流（如 Jupyter 和 Dash）中？
• RQ4 不同聚合算法（如 EveryNth 与 LTTB）在时间序列图中对视觉保真度和混叠伪影的影响如何？
• RQ5 该工具包能否作为研究和比较新型时间序列聚合技术的平台？

主要发现

• Plotly-Resampler 即使在数据集超过 100 万个数据点时，也能在缩放和拖拽操作中实现亚秒级响应时间。
• 基准测试显示，Plotly-Resampler 在可扩展性方面显著优于其他工具，无论是在样本数量还是时间序列数量方面。
• 使用基于 LTTB 的聚合方法并辅以视觉指示（[R] 前缀和分箱大小估计），有效减少了与简单方法（如 EveryNth）相比的混叠伪影。
• 该工具包支持在单一交互式仪表板中对复杂多变量时间序列（如多导睡眠图 EEG/EMG 数据）进行端到端可视化分析。
• 集成到现有工作流中仅需极少的代码开销——只需将 Plotly 图表用 FigureResampler 包装，并调用 show_dash() 即可。
• 该架构通过模块化方式暴露底层数据处理管道，支持未来对新型聚合技术的研究。