[论文解读] "Why is 'Chicago' deceptive?" Towards Building Model-Driven Tutorials for Humans

Vivian Lai, Han Liu+1 more|arXiv (Cornell University)|Jan 14, 2020

Explainable Artificial Intelligence (XAI)参考文献 62被引用 4

一句话总结

本文提出基于模型的教学教程——结合简单模型与深度学习模型的解释，以帮助人类理解机器学习中的反直觉模式，特别是在欺骗性评论检测方面。研究发现，基于简单模型的教学教程显著提升了人类表现，即使在无实时协助的情况下亦如此，凸显了基于模型的教学法相较于静态解释的价值。

ABSTRACT

To support human decision making with machine learning models, we often need to elucidate patterns embedded in the models that are unsalient, unknown, or counterintuitive to humans. While existing approaches focus on explaining machine predictions with real-time assistance, we explore model-driven tutorials to help humans understand these patterns in a training phase. We consider both tutorials with guidelines from scientific papers, analogous to current practices of science communication, and automatically selected examples from training data with explanations. We use deceptive review detection as a testbed and conduct large-scale, randomized human-subject experiments to examine the effectiveness of such tutorials. We find that tutorials indeed improve human performance, with and without real-time assistance. In particular, although deep learning provides superior predictive performance than simple models, tutorials and explanations from simple models are more useful to humans. Our work suggests future directions for human-centered tutorials and explanations towards a synergy between humans and AI.

研究动机与目标

• 探究基于模型的教学教程（与实时解释不同）是否能提升人类在解读机器学习模型方面的能力。
• 比较基于简单模型与深度学习模型的教学教程在帮助人类理解反直觉模式方面的有效性。
• 探讨包含推理过程（例如，'为何'某些特征重要）的解释如何增强人类的假设生成与决策能力。
• 考察在高风险、人机协同的AI应用中，信任与模型注意事项在教学设计中的作用。
• 识别超越静态特征归因的交互式、基于模型的教学教程的设计原则。

提出的方法

• 在亚马逊Mechanical Turk平台及大学线下课堂中，针对1,000多名参与者开展了大规模、随机化、预先注册的人类受试实验。
• 设计了两种教学教程类型：(1) 基于示例的教学教程，使用真实训练数据并附带模型解释；(2) 基于指南的教学教程，从欺骗检测的科学文献中提取。
• 使用简单模型（如逻辑回归）与深度学习模型（如BERT）生成解释，重点关注特征重要性与文本推理依据。
• 向参与者展示标注过的评论、模型预测结果及解释——解释形式为高亮词语或基于推理的说明。
• 通过分类欺骗性与真实评论的准确率来评估表现，包括有无实时协助的情况。
• 收集定性反馈，以评估参与者对解释的信任度、理解程度及假设生成能力。

实验结果

研究问题

• RQ1 与无教学教程相比，使用基于模型的教学教程是否能提升人类在检测欺骗性评论方面的能力？
• RQ2 基于简单模型的教学教程是否比基于深度学习模型的教学教程更有效地提升人类的理解与表现？
• RQ3 在教学教程中加入推理过程（例如，'为何'某些词语具有指示性）是否比仅提供特征归因更能提升人类的假设生成能力？
• RQ4 在教学教程中包含模型注意事项与优势，是否会影响人类的信任度与表现？
• RQ5 相较于静态解释，交互式或动态解释（如反事实操作）在多大程度上能提升学习效果？

主要发现

• 教学教程显著提升了人类在欺骗性评论检测中的表现，即使在无实时协助的情况下亦如此，证明了专门训练阶段的价值。
• 尽管深度学习模型具有更高的预测准确率，但基于简单模型的教学教程在提升人类表现方面优于基于深度学习模型的教学教程。
• 包含推理过程的解释（例如，'想象力导致模糊细节'）比仅提供特征归因更有效，表明解释'为何'对假设生成至关重要。
• 突出模型优势与局限性的教学教程提升了信任度，并减少了对模型输出的过度依赖，支持了平衡模型沟通的必要性。
• 教学教程的效果在不同人口统计群体中保持一致，但结果可能不适用于非技术人群。
• 允许用户测试反事实（如移除词语）的交互式教学教程显示出促进深层理解的潜力，尽管本研究未完全评估该方面。