[论文解读] PipelineProfiler: A Visual Analytics Tool for the Exploration of AutoML Pipelines

Jorge Piazentin Ono, Sonia Castelo+4 more|arXiv (Cornell University)|Apr 30, 2020

Machine Learning and Data Classification被引用 5

一句话总结

PipelineProfiler 是一个与 Jupyter Notebook 集成的交互式可视化分析工具，使数据科学家能够探索、比较和调试由多个 AutoML 系统生成的机器学习流水线。它支持复杂的流水线结构，通过独热编码可视化原始组件使用情况和超参数，并提供对比视图和自动化分析，显著提升了 AutoML 评估和开发工作流中的透明度和可用性。

ABSTRACT

In recent years, a wide variety of automated machine learning (AutoML) methods have been proposed to search and generate end-to-end learning pipelines. While these techniques facilitate the creation of models for real-world applications, given their black-box nature, the complexity of the underlying algorithms, and the large number of pipelines they derive, it is difficult for their developers to debug these systems. It is also challenging for machine learning experts to select an AutoML system that is well suited for a given problem or class of problems. In this paper, we present the PipelineProfiler, an interactive visualization tool that allows the exploration and comparison of the solution space of machine learning (ML) pipelines produced by AutoML systems. PipelineProfiler is integrated with Jupyter Notebook and can be used together with common data science tools to enable a rich set of analyses of the ML pipelines and provide insights about the algorithms that generated them. We demonstrate the utility of our tool through several use cases where PipelineProfiler is used to better understand and improve a real-world AutoML system. Furthermore, we validate our approach by presenting a detailed analysis of a think-aloud experiment with six data scientists who develop and evaluate AutoML tools.

研究动机与目标

• 为解决理解与调试复杂、黑箱的 AutoML 系统所带来的挑战，这些系统会生成大量、多样化的流水线，包含各种原始组件和超参数。
• 支持在不同数据集和性能指标下对多个 AutoML 系统进行比较，以实现明智的系统选择与优化。
• 为数据科学家和 AutoML 开发者提供一个交互式、可脚本化的工具，以增强对流水线生成和搜索策略的透明度与洞察力。
• 无缝集成至现有的数据科学环境（如 Jupyter Notebook），支持对 AutoML 输出的可重现和可扩展的分析。
• 通过专家可用性测试和真实世界用例验证该工具的实用性，证明其在实际 AutoML 开发与评估中的价值。

提出的方法

• 通过一行命令与 Jupyter Notebook 集成，使用户能够在熟悉的数理科学环境中交互式探索 AutoML 流水线集合。
• 使用流水线矩阵可视化技术，以独热编码表示每个流水线的超参数和得分，展示原始组件在流水线中的使用情况。
• 采用流水线对比视图，以可视化方式并排比较表现最佳的流水线，支持结构与性能分析。
• 提供原始组件贡献视图，计算并可视化原始组件使用情况与流水线性能指标（如 F1 分数）之间的相关性。
• 支持流水线子集的过滤、排序与导出，实现针对性分析和可重现的工作流。
• 通过可脚本化的交互实现自动化分析，允许用户对流水线集合应用自定义查询与可视化。

实验结果

研究问题

• RQ1 可视化分析技术在多原始组件、复杂机器学习流水线的探索与调试中能发挥何种作用？
• RQ2 统一的可视化框架在相同数据集上对多个 AutoML 系统进行对比分析的适用程度如何？
• RQ3 数据科学家在真实世界 AutoML 开发与评估任务中，对 PipelineProfiler 这类工具的可用性与实用性有何感知？
• RQ4 在多样化流水线结构中，可视化原始组件使用情况与流水线性能指标之间的关系能揭示哪些洞察？
• RQ5 可视化分析工具如何集成到现有数据科学工作流中，以增强 AutoML 流水线的可重现性与洞察生成能力？

主要发现

• PipelineProfiler 的平均系统可用性量表（SUS）得分为 82.92 ± 12.37，表明专家用户对其可用性与接受度较高。
• 六名数据科学家在“出声思考”研究中报告称，PipelineProfiler 有助于获得更深层次的调试洞察，包括反向逆向工程 AutoML 搜索策略。
• 参与者特别强调了该工具与 Jupyter Notebook 的集成是其主要优势，既支持开箱即用，也支持高级脚本化分析。
• 原始组件贡献视图成功识别出有意义的相关性，例如深度特征构建（Deep Feature Synthesis）与 F1 分数的相关性最高，证明其在识别高效流水线组件方面的价值。
• 专家对采用该工具表现出强烈兴趣，并提出了未来改进建议，如增加 API 集成以实现自动化数据摄取。
• 该工具能有效支持复杂的流水线结构，包括有向无环图（DAG）和多估计器流水线，克服了以往工具仅支持固定、顺序模板的局限性。