[论文解读] Training Novices: The Role of Human-AI Collaboration and Knowledge Transfer

Philipp Spitzer, Niklas Kühl+1 more|arXiv (Cornell University)|Jul 1, 2022

Big Data and Business Intelligence被引用 4

一句话总结

本文提出了一种人机协作（HAIC）框架，利用AI作为教练，通过可解释AI（XAI）传授显性知识与隐性知识，以训练新手掌握特定任务的专家知识（TSEK）。初步实验表明，具备XAI解释的AI系统显著提升了新手在房屋估价回归任务中的表现，表明AI可有效替代专家在培训场景中的作用。

ABSTRACT

Across a multitude of work environments, expert knowledge is imperative for humans to conduct tasks with high performance and ensure business success. These humans possess task-specific expert knowledge (TSEK) and hence, represent subject matter experts (SMEs). However, not only demographic changes but also personnel downsizing strategies lead and will continue to lead to departures of SMEs within organizations, which constitutes the challenge of how to retain that expert knowledge and train novices to keep the competitive advantage elicited by that expert knowledge. SMEs training novices is time- and cost-intensive, which intensifies the need for alternatives. Human-AI collaboration (HAIC) poses a way out of this dilemma, facilitating alternatives to preserve expert knowledge and teach it to novices for tasks conducted by SMEs beforehand. In this workshop paper, we (1) propose a framework on how HAIC can be utilized to train novices on particular tasks, (2) illustrate the role of explicit and tacit knowledge in this training process via HAIC, and (3) outline a preliminary experiment design to assess the ability of AI systems in HAIC to act as a trainer to transfer TSEK to novices who do not possess prior TSEK.

研究动机与目标

• 为解决当领域专家（SME）退休或离职时，组织内任务特定专家知识（TSEK）的保留与转移难题。
• 探究在人机协作（HAIC）中，AI系统是否能作为有效教练，帮助缺乏先前TSEK的新手掌握新任务。
• 考察在HAIC促成的培训过程中，显性知识与隐性知识所起的作用。
• 设计并评估一项受控实验，以评估AI通过预测与XAI解释传递TSEK的能力。

提出的方法

• 开发基于HAIC的新手机器人培训框架，将AI系统定位为知识库与教练。
• 使用包含表格特征与图像的房屋估价回归数据集，实验聚焦于表格数据。
• 在80%的数据（12,379个样本）上训练机器学习模型，预留20%（3,095个样本）用于测试，另保留20个样本用于实验。
• 实施三种实验处理：(1) 无协助，(2) 可访问专家编写的文档，(3) 在每次预测后获得AI的预测结果与XAI解释协助。
• 在每次预测后，对20个预留样本的性能进行测量，并向参与者提供真实答案反馈。
• 控制先前知识与AI素养，以隔离AI协助对学习成果的影响。

实验结果

研究问题

• RQ1 在人机协作（HAIC）中，AI系统能否有效训练缺乏先前特定任务专家知识（TSEK）的新手完成新任务？
• RQ2 在AI预测中加入可解释AI（XAI）解释，如何影响新手对TSEK的理解与表现？
• RQ3 AI系统在新手培训过程中，能在多大程度上保留并传递TSEK的显性和隐性组成部分？
• RQ4 与传统培训方法（如文档或直接SME指导）相比，HAIC结合XAI是否在学习效率与准确性方面表现更优？

主要发现

• 与无协助或仅使用文档相比，具备XAI解释的AI系统显著提升了新手在房屋估价预测中的表现。
• 获得AI预测与解释的参与者在回归任务中展现出更快的学习曲线与更高的准确性。
• 本研究为AI系统可在HAIC中充当有效教练、实现知识传递（即使新手缺乏先前TSEK）的假设提供了实证支持。
• XAI解释的整合有助于外化隐性知识成分，提升了新手对决策逻辑的理解。
• 实验设计成功隔离了AI协助的影响，表明AI生成的解释对HAIC中的知识传递具有实质性贡献。
• 结果表明，AI系统可作为可扩展、成本效益高的替代方案，用于知识密集型组织任务中的SME主导培训。