[论文解读] Towards Human Centered AutoML

Florian Pfisterer, Janek Thomas+1 more|arXiv (Cornell University)|Nov 6, 2019

Machine Learning and Data Classification参考文献 10被引用 11

一句话总结

本文倡导一种以人为本的自动化机器学习（AutoML）方法，通过将可解释性、公平性和效率等多种标准整合到自动化机器学习系统中，推动其发展。该研究提出一种交互式界面，使从业者能够根据领域特定偏好引导AutoML，从而在预测性能之外实现更优的模型选择。

ABSTRACT

Building models from data is an integral part of the majority of data science workflows. While data scientists are often forced to spend the majority of the time available for a given project on data cleaning and exploratory analysis, the time available to practitioners to build actual models from data is often rather short due to time constraints for a given project. AutoML systems are currently rising in popularity, as they can build powerful models without human oversight. In this position paper, we aim to discuss the impact of the rising popularity of such systems and how a user-centered interface for such systems could look like. More importantly, we also want to point out features that are currently missing in those systems and start to explore better usability of such systems from a data-scientists perspective.

研究动机与目标

• 解决当前AutoML系统仅关注预测性能而忽视可解释性、公平性和效率等关键因素的局限性。
• 识别现有AutoML工具缺乏人机协同能力，是其在实际中难以被广泛采用的关键障碍。
• 提出一种重新设计的AutoML界面，支持迭代反馈，并在管道搜索过程中整合非预测性标准。
• 强调AutoML系统需暴露中间结果并允许用户干预，以适应复杂的真实世界数据科学工作流程。
• 推动AutoML超越黑箱优化，将领域专业知识和用户偏好嵌入自动化过程。

提出的方法

• 提出一种交互式AutoML界面，用户可定义并调整多种优化标准（如模型大小、运行速度、可解释性）以超越准确率。
• 引入将中间管道候选结果暴露给用户进行评估与反馈的概念，实现人工引导的优化。
• 基于现有AutoML框架（如auto-sklearn、TPOT）进行扩展，支持在技术性与领域特定标准之间进行多目标优化。
• 强调将可解释性与公平性度量整合到搜索空间中，使权衡关系得以显式考虑。
• 鼓励在管道搜索过程中引入人类反馈回路，特别是在标准主观或难以量化时。
• 呼吁扩展AutoML系统，支持根据用户输入进行动态重构，尤其在性能并非唯一目标的情况下。

实验结果

研究问题

• RQ1 如何重新设计AutoML系统，以支持准确率、可解释性与推理速度等多重、常相互冲突的标准？
• RQ2 当标准主观或难以量化时，人类从业者在自动化管道搜索过程中应扮演何种角色？
• RQ3 为何当前的AutoML基准测试无法反映真实世界的数据科学需求？评估如何才能超越预测性能？
• RQ4 如何使AutoML的中间结果对用户可见且可操作，以引导搜索过程？
• RQ5 为使AutoML系统在实践中更易用且更值得信赖，需要哪些界面设计原则？

主要发现

• 当前的AutoML系统主要针对预测性能进行优化，常常忽略可解释性、公平性和模型效率等关键标准。
• 数据科学家在数据清洗与预处理上花费的时间远超模型构建时间，凸显了对建模阶段更好自动化的迫切需求。
• 现有AutoML工具缺乏用户反馈机制与中间结果检查能力，限制了其在复杂真实工作流中的可用性。
• 多准则优化对实际部署至关重要，因为模型必须满足除准确率之外的多样化需求，如低延迟或高可解释性。
• 人机协同交互，特别是对中间管道的反馈，可显著提升自动化模型的相关性与可信度。
• 标准AutoML基准测试中缺乏公平性与透明度度量，损害了所生成模型的可靠性与伦理合理性。