[论文解读] The Roles and Modes of Human Interactions with Automated Machine Learning Systems

Thanh Tung Khuat, David Jacob Kedziora+1 more|arXiv (Cornell University)|May 9, 2022

Explainable Artificial Intelligence (XAI)被引用 11

一句话总结

本文研究了人类与自动化机器学习（AutoML）系统之间互动角色与模式的演变，提出随着AutoML向自主、开放世界学习发展，人类的参与将从直接开发转向监督与战略监控。研究识别出关键的人机交互（HCI）挑战——信任、可解释性、公平性及推理整合，并为复杂动态环境中的人机-AutoML协作指明未来研究方向。

ABSTRACT

As automated machine learning (AutoML) systems continue to progress in both sophistication and performance, it becomes important to understand the `how' and `why' of human-computer interaction (HCI) within these frameworks, both current and expected. Such a discussion is necessary for optimal system design, leveraging advanced data-processing capabilities to support decision-making involving humans, but it is also key to identifying the opportunities and risks presented by ever-increasing levels of machine autonomy. Within this context, we focus on the following questions: (i) How does HCI currently look like for state-of-the-art AutoML algorithms, especially during the stages of development, deployment, and maintenance? (ii) Do the expectations of HCI within AutoML frameworks vary for different types of users and stakeholders? (iii) How can HCI be managed so that AutoML solutions acquire human trust and broad acceptance? (iv) As AutoML systems become more autonomous and capable of learning from complex open-ended environments, will the fundamental nature of HCI evolve? To consider these questions, we project existing literature in HCI into the space of AutoML; this connection has, to date, largely been unexplored. In so doing, we review topics including user-interface design, human-bias mitigation, and trust in artificial intelligence (AI). Additionally, to rigorously gauge the future of HCI, we contemplate how AutoML may manifest in effectively open-ended environments. This discussion necessarily reviews projected developmental pathways for AutoML, such as the incorporation of reasoning, although the focus remains on how and why HCI may occur in such a framework rather than on any implementational details. Ultimately, this review serves to identify key research directions aimed at better facilitating the roles and modes of human interactions with both current and future AutoML systems.

研究动机与目标

• 理解当前人机交互（HCI）在最先进的AutoML系统中的运作方式，涵盖开发、部署和维护各阶段。
• 考察在AutoML框架中，不同用户类型与利益相关者对HCI的期望是否存在差异。
• 识别建立人类信任并确保AutoML系统广泛接受的策略。
• 探索随着AutoML系统变得更加自主并具备开放世界学习能力，人机交互的本质将如何演变。
• 绘制未来研究方向，将推理与知识驱动方法整合到自主AutoML系统中。

提出的方法

• 对现有HCI文献进行批判性综述，并映射其与AutoML的相关性，重点关注用户界面设计、偏差缓解以及人工智能中的信任问题。
• 分析机器学习全生命周期中各利益相关者的角色，包括问题定义、数据工程、模型开发、部署与监控。
• 将未来AutoML的发展划分为两个阶段：封闭世界自主性（完全自动化、受限任务）与开放世界自主性（上下文感知、动态学习）。
• 研究混合架构，将数据驱动搜索与知识驱动推理相结合，以实现超越预设情境的泛化能力。
• 评估在AutoML中整合因果推理、抽象化与逻辑泛化以支持开放世界学习的可行性。
• 调研优化人机-AutoML协作的视角，尤其关注监督、解释与创新等角色。

实验结果

研究问题

• RQ1 当前人类与AutoML系统在机器学习工作流各阶段的互动方式有何差异？
• RQ2 不同利益相关者（如数据科学家、领域专家、终端用户）对AutoML系统中HCI的期望是否不同？
• RQ3 影响人类对AutoML系统信任与接受度的因素有哪些，如何加以优化？
• RQ4 随着AutoML系统向自主、开放世界学习发展，其与人类的互动方式将如何演变？
• RQ5 哪些路径可使AutoML系统实现推理与知识驱动学习的整合，以在动态环境中实现泛化？

主要发现

• 人类在AutoML中的参与正从主动的模型开发转向监督与战略角色，尤其体现在问题定义与结果解释方面。
• 人类对AutoML系统的信任显著受可解释性、公平性以及系统输出中人类认知偏见缓解程度的影响。
• 当前的AutoML系统主要局限于具有明确定义约束的封闭世界场景，限制了其在新颖或动态环境中的适应能力。
• 将知识驱动推理与数据驱动搜索相结合，是实现AutoML中开放世界学习的有前景但尚未充分探索的路径。
• 随着AutoML系统变得更加自主，它们可能不再被视为工具，而是协作伙伴，从而需要新的交互范式。
• 未来研究必须优先关注人类监督机制，尤其是在系统自主性提高且问题约束放宽的背景下。