[论文解读] Visual Analytics and Human Involvement in Machine Learning

Salomon Eisler, Joachim Meyer|arXiv (Cornell University)|May 12, 2020

Data Visualization and Analytics被引用 5

一句话总结

本文提出了一套全面的框架，将视觉分析整合到机器学习生命周期中，强调在每个阶段都注重人类参与。它概述了七个机器学习步骤——数据收集、准备、模型选择、训练、评估、解释和超参数调优——并将特定的可视化技术映射到每个步骤，展示了视觉分析如何增强模型理解、调试能力以及利益相关者之间的沟通，特别是在解决人工智能系统的‘黑箱’问题方面。

ABSTRACT

The rapidly developing AI systems and applications still require human involvement in practically all parts of the analytics process. Human decisions are largely based on visualizations, providing data scientists details of data properties and the results of analytical procedures. Different visualizations are used in the different steps of the Machine Learning (ML) process. The decision which visualization to use depends on factors, such as the data domain, the data model and the step in the ML process. In this chapter, we describe the seven steps in the ML process and review different visualization techniques that are relevant for the different steps for different types of data, models and purposes.

研究动机与目标

• 解决尽管自动化程度不断提高且人工智能日益复杂，人类参与在机器学习中仍持续面临的挑战。
• 识别并系统化适用于机器学习流水线七个核心阶段的可视化技术。
• 通过利用视觉分析提高模型可解释性与利益相关者信任，特别是在面对‘黑箱’模型不透明性时。
• 通过数据、模型行为和性能指标的有效可视化表示，支持数据科学家和领域专家做出明智决策。
• 通过将可视化方法与特定的机器学习任务和数据类型对齐，弥合技术模型性能与人类理解之间的差距。

提出的方法

• 将七个关键的机器学习步骤——数据收集、准备、模型选择、训练、评估、解释和超参数调优——与相应的可视化技术进行映射。
• 根据数据类型（如表格型、高维、时间序列）、模型类型（监督学习、无监督学习、深度学习、集成模型）和目的（探索、调试、解释）对视觉分析工具进行分类。
• 使用标准可视化方法，如散点图、热力图、SPLOM（散点图矩阵）、折线图和ROC曲线，用于性能监控和超参数调优。
• 将交互式可视化界面（如拖拽、缩放、过滤）集成到TensorFlow、PyTorch和Jupyter等机器学习框架中，以支持实时模型检查。
• 提出使用数据血缘可视化来追踪数据转换过程，增强对模型输入和输出的信任。
• 通过使用包含热力图和折线图的仪表板，存储并可视化KPI（如损失、精确率、召回率）在超参数调优迭代过程中的变化，将视觉分析应用于超参数调优。

实验结果

研究问题

• RQ1 在机器学习流水线的各个阶段，哪些可视化技术最有效地支持人类决策？
• RQ2 视觉分析如何提升机器学习系统中模型的可解释性与利益相关者的信任？
• RQ3 可视化在检测训练和评估过程中数据异常、类别不平衡和模型过拟合方面发挥什么作用？
• RQ4 机器学习框架中的交互式可视化界面如何增强调试和超参数调优过程？
• RQ5 可视化技术在多大程度上有助于解决预测准确率与模型可解释性之间的权衡？

主要发现

• 视觉分析在整个机器学习生命周期中至关重要，尤其是在数据准备、模型训练和解释阶段，有助于检测异常值、类别不平衡和模型行为。
• 可视化技术如学习曲线、训练损失与验证损失对比图以及ROC曲线，对于监控模型收敛性和检测过拟合至关重要。
• 交互式可视化工具如SPLOM、热力图和折线图，通过可视化超参数与关键性能指标之间的关系，可有效支持超参数调优。
• TensorFlow和PyTorch等框架正越来越多地支持交互式可视化，使数据科学家能够实时调试和优化模型。
• 视觉分析显著提升了模型可解释性，特别是在高风险决策中，通过使模型行为和数据血缘对非专家利益相关者透明化。
• 将视觉分析集成到机器学习工作流中，通过提供可追溯、可解释且具有说服力的洞察，解决了‘黑箱’问题，揭示了模型决策和数据转换的内在逻辑。