[论文解读] The Intriguing Properties of Model Explanations

Maruan Al-Shedivat, Avinava Dubey+1 more|arXiv (Cornell University)|Jan 30, 2018

Explainable Artificial Intelligence (XAI)参考文献 4被引用 11

一句话总结

本文研究了由 LIME 和上下文解释网络（CENs）生成的线性模型解释的特性，表明由于特征选择和噪声的存在，解释可能具有误导性；然而，通过 CENs 联合学习解释与预测，可提升模型性能与样本效率。CENs 在 IMDB 和卫星贫困预测任务上达到当前最优性能，其解释提供了关于模型行为的可操作洞察。

ABSTRACT

Linear approximations to the decision boundary of a complex model have become one of the most popular tools for interpreting predictions. In this paper, we study such linear explanations produced either post-hoc by a few recent methods or generated along with predictions with contextual explanation networks (CENs). We focus on two questions: (i) whether linear explanations are always consistent or can be misleading, and (ii) when integrated into the prediction process, whether and how explanations affect the performance of the model. Our analysis sheds more light on certain properties of explanations produced by different methods and suggests that learning models that explain and predict jointly is often advantageous.

研究动机与目标

• 评估在特征选择和噪声条件下，线性模型解释是否具有一致性或可能具有误导性。
• 评估将解释集成到预测过程对模型性能的影响。
• 探索可视化解释如何为模型行为与决策过程提供可操作的洞察。
• 比较后处理解释方法（如 LIME）与端到端学习框架（如 CENs）在鲁棒性与有效性方面的表现。

提出的方法

• 使用 LIME 通过在可解释特征空间中最小化原始模型与局部线性近似之间的加权损失，生成后处理线性解释。
• 基于可解释特征空间中的距离，采用相似性核函数定义局部近似的邻域。
• 提出 CENs，通过深度编码器联合学习预测与生成解释，该编码器生成全局解释分量的凸组合。
• 将解释建模为可解释特征的线性函数，其中神经网络的注意力权重决定每个全局解释分量的贡献。
• 采用联合目标端到端训练 CENs，以最小化预测误差，同时强制实现解释的稀疏性与一致性。
• 在真实世界数据（如卫星图像和乌干达的调查数据）上可视化解释，以在上下文中解释模型决策。

实验结果

研究问题

• RQ1 特征选择与特征噪声如何影响线性模型解释的一致性？
• RQ2 将解释生成集成到预测过程中是否能提升模型性能与泛化能力？
• RQ3 CENs 生成的解释是否能在真实世界数据集上提供可靠且可解释的洞察？
• RQ4 联合学习解释与预测如何影响优化动态与样本效率？

主要发现

• CENs 在 IMDB 数据集上达到当前最优性能，误差降低至 6.9%，显著低于类似模型的先前最优值 8.1%。
• 在卫星贫困预测任务中，CENs 在仅使用调查特征的稀疏线性模型基础上表现更优，准确率达到 81.5%，AUC 达到 84.2%。
• CENs 展现出更快的收敛速度与更好的泛化能力，尤其在小样本数据集上，表明解释起到了正则化作用。
• 可视化分析显示，CENs 学习到具有明确上下文意义的解释：M1 用于夜间光照强度高的城市区域，而 M2 用于农村地区。
• 模型的解释具有一致性与可解释性——与 LIME 不同，后者可能因特征敏感性而产生误导性解释。
• CENs 在字典大小为 32 时，能够为每个输入精确选择两个全局解释分量中的一个，从而实现对贫困预测因素的清晰、可操作的洞察。