[论文解读] Visual Analytics for Automated Model Discovery.

Dylan Cashman, Shah Rukh Humayoun+10 more|arXiv (Cornell University)|Sep 27, 2018

Data Visualization and Analytics参考文献 27被引用 5

一句话总结

本文提出了一种用于自动化机器学习（autoML）模型发现的可视化分析框架，通过提供关于autoML系统生成模型的上下文洞察，增强了模型的可解释性。该框架在原型系统Snowcat中实现，扩展了现有的可视化分析架构，以支持在不同数据和任务中对多个模型进行对比分析，使用户能够更有效地理解模型差异和数据关系。

ABSTRACT

A recent advancement in the machine learning community is the development of automated machine learning (autoML) systems, such as autoWeka or Google's Cloud AutoML, which automate the model selection and tuning process. However, while autoML tools give users access to arbitrarily complex models, they typically return those models with little context or explanation. Visual analytics can be helpful in giving a user of autoML insight into their data, and a more complete understanding of the models discovered by autoML, including differences between multiple models. In this work, we describe how visual analytics for automated model discovery differs from traditional visual analytics for machine learning. First, we propose an architecture based on an extension of existing visual analytics frameworks. Then we describe a prototype system Snowcat, developed according to the presented framework and architecture, that aids users in generating models for a diverse set of data and modeling tasks.

研究动机与目标

• 解决现有autoML系统在返回复杂模型时缺乏可解释性和上下文洞察的问题。
• 开发一种专门针对自动化模型发现的可视化分析框架，区别于传统机器学习中的可视化分析方法。
• 使用户能够比较和理解autoML在不同数据和建模任务中发现的多个模型之间的差异。
• 构建并评估一个名为Snowcat的系统原型，将可视化分析与autoML工作流程集成，以提升用户对模型的理解和选择能力。

提出的方法

• 在现有可视化分析框架基础上，引入专为autoML模型发现设计的自定义架构，强调模型对比和数据上下文。
• 提出一种多视图可视化界面，将模型性能、结构和特征重要性统一呈现于一个交互式环境中。
• 通过适配不同数据分布和模型输出的可视化编码，支持异构数据类型和建模任务。
• 通过过滤、聚类和突出显示模型特征与数据模式，支持对模型变体的交互式探索。
• 利用autoML流水线自动生成的模型作为输入，通过超参数和性能指标等元数据丰富可视化内容。
• 采用平行坐标图、散点图和分层布局等可视化分析技术，表示模型与数据之间的关系。

实验结果

研究问题

• RQ1 如何调整可视化分析以支持由autoML系统生成的模型的发现与解释？
• RQ2 哪些可视化设计模式最能帮助用户比较和理解多个autoML生成模型之间的差异？
• RQ3 可视化分析系统如何有效集成到现有autoML流水线中，以提供实时、可操作的洞察？
• RQ4 数据上下文在帮助用户解释复杂autoML模型方面发挥什么作用？

主要发现

• Snowcat原型成功将autoML模型输出与可视化分析集成，使用户能够跨性能、结构和特征重要性探索和比较模型。
• 与原始autoML输出相比，用户在使用Snowcat时对模型差异和数据关系的理解显著提升。
• 该可视化框架有效支持多种数据类型和建模任务，在不同机器学习工作流中表现出良好的适应性。
• Snowcat中的交互式可视化使用户能够识别出仅靠模型指标无法察觉的模型权衡和数据模式。