[论文解读] "Why Should I Trust Interactive Learners?" Explaining Interactive Queries of Classifiers to Users

Stefano Teso, Kristian Kersting|arXiv (Cornell University)|May 22, 2018

Machine Learning and Algorithms参考文献 35被引用 7

一句话总结

本文提出解释性交互学习（explanatory interactive learning）框架，通过可解释的、与模型无关的解释向用户说明查询和预测内容，从而增强用户对交互式机器学习系统的信任。该框架采用caipi方法——在主动学习基础上扩展基于LIME的局部解释，并结合用户对解释的反馈——通过受控实验和用户研究，验证了其在提升模型性能、改善解释质量以及增强用户信任方面的有效性。

ABSTRACT

Although interactive learning puts the user into the loop, the learner remains mostly a black box for the user. Understanding the reasons behind queries and predictions is important when assessing how the learner works and, in turn, trust. Consequently, we propose the novel framework of explanatory interactive learning: in each step, the learner explains its interactive query to the user, and she queries of any active classifier for visualizing explanations of the corresponding predictions. We demonstrate that this can boost the predictive and explanatory powers of and the trust into the learned model, using text (e.g. SVMs) and image classification (e.g. neural networks) experiments as well as a user study.

研究动机与目标

• 解决因决策过程不透明而导致的交互式机器学习系统缺乏信任的问题。
• 探究查询与预测解释如何增强用户对交互式学习者的信任。
• 开发一种将解释反馈整合到主动学习中的框架，以提升模型性能与透明度。
• 评估解释修正对模型学习过程及用户信任感知的影响。

提出的方法

• 提出一种名为解释性交互学习的新框架，学习者在每次交互步骤中向用户解释其查询与预测。
• 引入caipi方法，该方法与模型和解释器无关，通过基于LIME的局部解释扩展主动学习，用于查询实例。
• 允许用户修正解释，从而提供一种新的反馈通道，引导模型学习，超越仅标签修正的范畴。
• 采用数据增强策略，将解释修正整合到学习过程中，提升模型与用户意图的一致性。
• 采用模块化设计，可与任意黑箱分类器及任意局部解释器（如LIME）集成。
• 支持预测与解释双重反馈，使用户不仅能修正标签，还能修正模型的推理过程。

实验结果

研究问题

• RQ1 如何通过解释交互查询来提升用户对机器学习模型的信任？
• RQ2 除了标签外，对解释的反馈是否能提升学习模型的质量与准确性？
• RQ3 将解释修正纳入模型是否能加快主动学习的收敛速度并提升泛化能力？
• RQ4 解释的整合如何影响用户对模型能力与可靠性的感知？

主要发现

• 解释修正显著提升了解释质量，与无修正基线模型相比，测试集上的解释质量随时间稳步提升。
• 采用解释修正的模型在预测性能方面表现更优，尤其在文本分类任务中更准确地捕捉了正确的语义概念。
• 在图像分类任务中，当模型受解释修正引导时，能更快学习到正确概念，尤其在存在混淆因子或模糊数据的情况下表现更佳。
• 用户研究结果验证，对查询的解释可基于模型行为与透明度，增强或削弱用户信任。
• 当提供解释修正时，L1 SVM模型与目标规则的对齐性得到改善，更快收敛至正确概念。
• 该框架通过使模型推理过程可见且可通过解释反馈修改，成功将主动学习转变为协作过程。