[论文解读] Right for the Wrong Scientific Reasons: Revising Deep Networks by Interacting with their Explanations.

Patrick Schramowski, Wolfgang Stammer+6 more|arXiv (Cornell University)|Jan 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 55被引用 13

一句话总结

本文提出了解释性交互学习（XIL），一种通过允许科学家基于模型解释来修订模型，将人类科学家整合到深度神经网络训练循环中的方法。通过在解释上迭代地获取人类反馈以改进预测，XIL减少了对虚假相关性的依赖（即‘聪明汉斯行为’），从而提高了在植物表型分析任务中模型的可信度和鲁棒性。

ABSTRACT

Deep neural networks have shown excellent performances in many real-world applications. Unfortunately, they may show Hans-like behavior---making use of confounding factors within datasets---to achieve high performance. In this work we introduce the novel setting of explanatory interactive learning (XIL) and illustrate its benefits on a plant phenotyping research task. XIL adds the scientist into the training loop such that she interactively revises the original model via providing feedback on its explanations. Our experimental results demonstrate that XIL can help avoiding Clever Hans moments in machine and encourages (or discourages, if appropriate) trust into the underlying model.

研究动机与目标

• 解决深度神经网络在真实世界数据集中依赖混淆性、非鲁棒特征（即‘聪明汉斯行为’）的问题。
• 开发一种框架，使科学家能够通过针对模型解释提供反馈，以交互方式纠正模型行为。
• 通过在训练过程中融入人类领域知识，提升模型的可信度和鲁棒性。
• 在真实科学应用——植物表型分析中，展示交互式修订的有效性。

提出的方法

• XIL通过向科学家展示模型解释（例如显著性图）的方式，将人类反馈整合到训练循环中。
• 科学家基于领域知识，指示模型应关注或忽略哪些特征来修订预测。
• 使用包含人类反馈的损失函数对模型进行微调，以抑制对虚假特征的依赖。
• 利用基于梯度的归因方法（例如Grad-CAM）生成解释，以指导人类交互。
• 迭代反馈循环允许在不从头开始重新训练的情况下，逐步优化模型行为。
• 该方法在植物表型数据集上进行了评估，初始模型依赖于背景伪影而非植物性状。

实验结果

研究问题

• RQ1 对模型解释的交互式反馈能否减少深度学习模型对数据集中虚假偏倚的依赖？
• RQ2 让领域专家参与解释和纠正模型解释，如何影响模型的鲁棒性和性能？
• RQ3 XIL在多大程度上可以提升模型预测的可信度，而无需进行大量重新训练？
• RQ4 XIL是否能提升科学成像任务中模型行为的可靠性和泛化能力？

主要发现

• XIL成功减少了模型在植物表型分析中对混淆性背景特征的依赖，提升了在分布外数据上的泛化能力。
• 科学家能够通过聚焦于生物上相关的植物性状，纠正表现出‘聪明汉斯行为’的模型。
• 通过XIL修订的模型与领域特定知识的对齐度高于基线模型。
• 交互式反馈循环即使在测试数据与训练数据在背景构成上不同时，也能带来更鲁棒的预测。