[论文解读] VizML: A Machine Learning Approach to Visualization Recommendation

Kevin Hu, Michiel A. Bakker+3 more|arXiv (Cornell University)|Aug 14, 2018

Data Visualization and Analytics参考文献 56被引用 11

一句话总结

VizML 提出了一种机器学习方法，通过从 Plotly 收集的一百万个数据集-可视化对中学习设计选择（如可视化类型和轴编码）来推荐有效的可视化。该模型基于真实分析师行为进行训练，其神经网络模型在预测设计选择方面的准确率达到 70–95%，并在众包基准测试中表现与人类共识相当，优于以往基于机器学习的系统。

ABSTRACT

Data visualization should be accessible for all analysts with data, not just the few with technical expertise. Visualization recommender systems aim to lower the barrier to exploring basic visualizations by automatically generating results for analysts to search and select, rather than manually specify. Here, we demonstrate a novel machine learning-based approach to visualization recommendation that learns visualization design choices from a large corpus of datasets and associated visualizations. First, we identify five key design choices made by analysts while creating visualizations, such as selecting a visualization type and choosing to encode a column along the X- or Y-axis. We train models to predict these design choices using one million dataset-visualization pairs collected from a popular online visualization platform. Neural networks predict these design choices with high accuracy compared to baseline models. We report and interpret feature importances from one of these baseline models. To evaluate the generalizability and uncertainty of our approach, we benchmark with a crowdsourced test set, and show that the performance of our model is comparable to human performance when predicting consensus visualization type, and exceeds that of other ML-based systems.

研究动机与目标

• 通过自动化设计决策降低非专家分析师使用数据可视化的门槛。
• 直接从真实世界的数据集-可视化对中学习可视化设计选择，而非依赖手工制定的规则。
• 通过数据驱动学习提升可视化推荐系统的泛化能力和可解释性。
• 使用众包测试集将模型性能与人类共识进行基准对比。
• 支持将基于机器学习的推荐系统集成到端到端的可视化系统中。

提出的方法

• 作者从 Plotly 社区动态中收集并清洗了一百万个唯一的数据集-可视化对组成的语料库。
• 提取了 841 个数据集级特征，包括 81 个单列特征、30 个成对列特征和 16 个聚合特征，用于描述数据类型、分布和关系。
• 从每个可视化中提取七个关键设计选择（如可视化类型和轴分配），并用作预测目标。
• 在 60% 的数据上训练神经网络以预测这些设计选择，并在 20% 的保留测试集上评估性能。
• 通过向 Mechanical Turkers 展示数据集并提供柱状图、折线图和散点图选项，构建了众包基准，以衡量在首选可视化类型上的共识。
• 从基线模型分析特征重要性，以解释哪些数据属性对设计决策影响最大。

实验结果

研究问题

• RQ1 机器学习模型能否从真实世界的数据集-可视化对中学习到有效的可视化设计选择？
• RQ2 基于机器学习的推荐系统在可视化类型选择上的表现与人类共识相比如何？
• RQ3 哪些数据特征最能预测特定的可视化设计选择？
• RQ4 该模型能否泛化到未见过的数据集，并处理可视化偏好中的不确定性？
• RQ5 VizML 与现有的基于规则和基于机器学习的可视化推荐系统相比，性能如何？

主要发现

• 在数据集-可视化语料库的 60% 数据上进行训练的神经网络，在 20% 的测试集上预测设计选择的准确率达到 70–95%。
• 该模型在众包基准测试中的表现与人类标注者相当，表明其在可视化类型选择上与人类共识高度一致。
• 该模型在预测可视化设计选择方面优于其他基于机器学习的系统，如 DeepEye、Data2Vis 和 Draco-Learn。
• 特征重要性分析显示，数据类型、分布形状和列名属性对可视化推荐有显著影响。
• 该模型在未见过的数据集上表现出良好的泛化能力，预测结果具有鲁棒性且不确定性较低。
• 该方法通过特征重要性分析支持可解释性，并可轻松集成到端到端的推荐流水线中。