[论文解读] Teaching Meaningful Explanations

Noel Codella, Michael Hind+6 more|arXiv (Cornell University)|May 29, 2018

Explainable Artificial Intelligence (XAI)参考文献 35被引用 10

一句话总结

本文提出了一种新范式——通过数据教学解释（Teaching Explanations via Data, TED），其中机器学习模型在包含人类诱发解释、特征和标签的增强数据集上进行训练。通过联合学习标签和解释的预测，该方法确保解释与最终用户的领域知识和认知水平相匹配，从而提升模型的可解释性，并在多种数据集（包括黑色素瘤、图像美学和嗅觉感知）上提高准确性。

ABSTRACT

The adoption of machine learning in high-stakes applications such as healthcare and law has lagged in part because predictions are not accompanied by explanations comprehensible to the domain user, who often holds the ultimate responsibility for decisions and outcomes. In this paper, we propose an approach to generate such explanations in which training data is augmented to include, in addition to features and labels, explanations elicited from domain users. A joint model is then learned to produce both labels and explanations from the input features. This simple idea ensures that explanations are tailored to the complexity expectations and domain knowledge of the consumer. Evaluation spans multiple modeling techniques on a game dataset, a (visual) aesthetics dataset, a chemical odor dataset and a Melanoma dataset showing that our approach is generalizable across domains and algorithms. Results demonstrate that meaningful explanations can be reliably taught to machine learning algorithms, and in some cases, also improve modeling accuracy.

研究动机与目标

• 为解决高风险机器学习应用（如医疗保健和法律）中缺乏用户可理解的解释的问题。
• 确保解释与最终用户的领域知识和认知复杂度相匹配。
• 开发一个可泛化的框架，使模型能够生成既具意义又可操作的解释。
• 证明在训练过程中引入人类诱发的解释可同时提升解释质量和预测性能。

提出的方法

• 通过在特征和标签之外加入人类诱发的解释来增强训练数据，以构建联合学习目标。
• 使用成对损失函数学习共享嵌入空间，以同时优化预测准确性和解释空间中k近邻的人类相关性。
• 在学习到的嵌入上使用k近邻（k-NN）搜索，基于特征空间和解释空间中的相似性，为新输入推断解释。
• 采用多任务学习设置，通过共享模型架构从输入特征中同时预测标签和解释。
• 利用公开数据集中现有的属性注释（如美学、气味）作为代理解释，以在无需新数据收集的情况下训练模型。
• 优化嵌入目标，以平衡预测准确性和检索到的邻居的总体人类相关性。

实验结果

研究问题

• RQ1 能否有效利用直接从领域用户处获取的解释来训练机器学习模型，以生成有意义且用户定制的解释？
• RQ2 在训练过程中引入人类诱发的解释是否能超越标准监督学习，提升模型性能？
• RQ3 联合学习标签和解释如何影响非专家用户对预测结果的可解释性和可信度？
• RQ4 所提出的方法是否能在图像美学、化学气味感知和医学诊断等多样化领域中实现泛化？

主要发现

• Pairwise E + k-NN 方法在所有数据集上的目标标签Y预测中均达到最高准确率，表明细粒度的解释监督可提升预测性能。
• 在黑色素瘤数据集中，该方法在提升标签预测准确率的同时，也降低了解释预测的平均绝对误差（MAE），显示出性能的双重提升。
• Pairwise Y + k-NN 方法在Y预测上优于基线k-NN方法，表明具备解释感知的相似性可提升标签泛化能力。
• 在嗅觉数据集中，基于成对损失的神经网络优于多任务线性回归，凸显了在解释感知学习中非线性建模的优势。
• TED的k-NN实现版本在某些情况下无需额外标注工作，因为用户对搜索结果的交互自然地在解释空间中生成了相似性信号。
• 该方法在四个不同数据集上均一致提升了解释质量和预测准确性，证实了其泛化能力。