[论文解读] Trust in AutoML: Exploring Information Needs for Establishing Trust in Automated Machine Learning Systems

Jaimie Drozdal, Justin D. Weisz+7 more|arXiv (Cornell University)|Jan 17, 2020

Ethics and Social Impacts of AI参考文献 44被引用 23

一句话总结

本研究探讨了自动化机器学习（AutoML）系统中的透明度特性如何影响数据科学家的信任感与理解能力。通过三项研究——访谈、受控实验和卡片分类——发现，模型性能指标和可视化效果是建立信任最关键的要素，能显著提升用户对AutoML工具的信任感与理解力。

ABSTRACT

We explore trust in a relatively new area of data science: Automated Machine Learning (AutoML). In AutoML, AI methods are used to generate and optimize machine learning models by automatically engineering features, selecting models, and optimizing hyperparameters. In this paper, we seek to understand what kinds of information influence data scientists' trust in the models produced by AutoML? We operationalize trust as a willingness to deploy a model produced using automated methods. We report results from three studies -- qualitative interviews, a controlled experiment, and a card-sorting task -- to understand the information needs of data scientists for establishing trust in AutoML systems. We find that including transparency features in an AutoML tool increased user trust and understandability in the tool; and out of all proposed features, model performance metrics and visualizations are the most important information to data scientists when establishing their trust with an AutoML tool.

研究动机与目标

• 了解哪些类型的信息会影响数据科学家对AutoML系统的信任，特别是在模型部署决策方面。
• 从信息视角探讨AutoML工具的透明度与可理解性如何影响用户信任，以理解信任形成机制。
• 识别AutoML用户界面中建立信任的最重要与最不重要的信息特性。
• 探讨在高风险领域中，信任AutoML工具本身与信任其生成的模型之间的区别。
• 通过识别可操作的透明度特性，为设计可信的AutoML系统提供建议，以增强用户信心与理解力。

提出的方法

• 对数据科学学生进行半结构化访谈，识别商业AutoML工具中存在与缺失的信息类型，作为透明度特性的基础。
• 开展受控实验，比较添加透明度特性前后的AutoML界面在信任感与可理解性方面的评分差异。
• 实施开放式卡片分类任务，让参与者根据建立信任的重要性对22项信息特性进行排序。
• 将信任操作化为愿意部署由AutoML生成的模型，与现实世界决策场景保持一致。
• 结合卡片分类中的定量排名与定性反馈，评估模型性能、特征工程与超参数优化等特性的重要性。
• 综合分析各研究结果，识别信息需求的模式，重点关注透明度特性如何影响信任与可理解性。

实验结果

研究问题

• RQ1 新增透明度特性在多大程度上影响用户对AutoML系统的信任与理解？
• RQ2 哪些信息对建立对AutoML系统的信任至关重要，哪些信息被认为不那么关键？
• RQ3 数据科学家对AutoML工具本身与对其生成模型的信任感知有何不同？
• RQ4 在不同使用场景下（如贷款审批与以研究为导向的模型开发），信任的信息需求如何变化？
• RQ5 AutoML系统中初始信任形成与长期信任维持有何差异？哪些信息支持各阶段？

主要发现

• 在AutoML工具中引入透明度特性，显著提升了用户的信任感与可理解性，受控实验结果证实了这一点。
• 模型性能指标和可视化效果被列为建立信任最重要的信息特性，性能指标在卡片分类任务中获得最高平均排名。
• 特征工程细节与模型解释可视化也备受重视，位列前五项最重要的特性。
• 关于超参数优化与搜索算法的信息获得最低平均排名，表明其对初始信任影响较小，尽管在研究场景中仍具相关性。
• 参与者表示，即使模型准确率较低，他们仍可能信任AutoML工具，表明对系统本身与对其输出的信任存在明显区分。
• 信任形成具有情境依赖性，随着用户与工具的互动，信息需求随时间变化，提示初始信任与持续信任可能需要不同的透明度特性。