[论文解读] NLS: an accurate and yet easy-to-interpret regression method

Victor Coscrato, Marco Henrique de Almeida Inácio+2 more|arXiv (Cornell University)|Oct 11, 2019

Explainable Artificial Intelligence (XAI)参考文献 30被引用 5

一句话总结

NLS 是一种基于神经网络的回归方法，通过在输出层强制实现局部线性结构，实现了高预测精度与内在可解释性的结合。与模型无关的解释器不同，NLS 通过训练过程直接提供可解释的系数，其性能可与最先进模型相媲美，同时可通过局部线性系数实现即时解释。

ABSTRACT

An important feature of successful supervised machine learning applications is to be able to explain the predictions given by the regression or classification model being used. However, most state-of-the-art models that have good predictive power lead to predictions that are hard to interpret. Thus, several model-agnostic interpreters have been developed recently as a way of explaining black-box classifiers. In practice, using these methods is a slow process because a novel fitting is required for each new testing instance, and several non-trivial choices must be made. We develop NLS (neural local smoother), a method that is complex enough to give good predictions, and yet gives solutions that are easy to be interpreted without the need of using a separate interpreter. The key idea is to use a neural network that imposes a local linear shape to the output layer. We show that NLS leads to predictive power that is comparable to state-of-the-art machine learning models, and yet is easier to interpret.

研究动机与目标

• 解决机器学习模型中预测精度与可解释性之间的权衡问题。
• 通过将可解释性直接嵌入模型中，消除对 LIME 等计算成本较高的独立解释器的需求。
• 开发一种一步完成的回归方法，在保持高精度的同时，通过学习到的系数实现预测的直接解释。
• 为难以解释的黑箱模型提供一种稳健且可扩展的替代方案，即使其性能强大，但解释性差。

提出的方法

• NLS 使用一种神经网络架构，其输出包含一个偏置项和特征特定的权重（θ₀, θ₁(x), ..., θ_d(x)），用于局部线性预测。
• 最终预测通过 G_Θ(x) = θ₀ + Σ θ_i(x) * x_i 计算，确保具有局部线性形式。
• 使用标准的平方损失函数进行训练，以最小化训练数据上的预测误差。
• 引入惩罚项（λ）以控制稀疏性，通过抑制非稀疏解来提升可解释性。
• 该方法在理论上得到定理支持，表明当网络容量足够时，NLS 可以以任意精度逼近任意连续回归函数。
• 解释直接来源于网络在给定输入下的输出权重，无需额外拟合即可实现即时局部线性解释。

实验结果

研究问题

• RQ1 是否可以设计一种神经网络，使其预测既高度准确又具有内在可解释性？
• RQ2 与支持向量机（SVM）和深度神经网络等最先进模型相比，NLS 在预测性能上表现如何？
• RQ3 NLS 是否能提供与 LIME 相当的有意义解释，但无需额外的、针对每个样本的拟合步骤？
• RQ4 正则化参数（λ）对 NLS 中预测精度与可解释性之间权衡的影响是什么？
• RQ5 NLS 在高维和真实世界数据集上是否仍能保持可解释性并具备良好的泛化能力？

主要发现

• 在 religion 数据集上，NLS 的测试准确率达到 95.6%，略高于 Ribeiro 等人（2016）报告的 RBF 核 SVM 的 94%。
• 该方法生成的解释在定性上与 LIME 相似，能识别出相同的关键特征（例如，邮件标题中的词语）作为最具影响力的特征。
• 惩罚强度 λ 控制着预测精度与可解释性之间的权衡，较高的 λ 值可降低预测复制的扩展误差。
• NLS 计算效率高，因为解释可直接从模型输出获得，无需对每个样本额外拟合。
• 理论分析证实，当网络容量足够时，NLS 可以在 ε 误差范围内逼近任意连续回归函数。
• NLS 对无关特征具有鲁棒性，并在训练和推理阶段均保持较低的计算成本。