[论文解读] Unwrapping The Black Box of Deep ReLU Networks: Interpretability, Diagnostics, and Simplification

Agus Sudjianto, William Knauth+3 more|arXiv (Cornell University)|Nov 8, 2020

Explainable Artificial Intelligence (XAI)参考文献 45被引用 20

一句话总结

本文通过利用激活模式将深度 ReLU 网络分解为局部线性模型（LLMs），提出了一套严格且内在的可解释性框架，实现了对模型的直接解释、诊断与简化。通过区域合并方法，该方法在预测性能上实现提升，其中简化的三区域 LLM 模型在训练集和测试集的 AUC 上均优于原始 ReLU 网络。

ABSTRACT

The deep neural networks (DNNs) have achieved great success in learning complex patterns with strong predictive power, but they are often thought of as "black box" models without a sufficient level of transparency and interpretability. It is important to demystify the DNNs with rigorous mathematics and practical tools, especially when they are used for mission-critical applications. This paper aims to unwrap the black box of deep ReLU networks through local linear representation, which utilizes the activation pattern and disentangles the complex network into an equivalent set of local linear models (LLMs). We develop a convenient LLM-based toolkit for interpretability, diagnostics, and simplification of a pre-trained deep ReLU network. We propose the local linear profile plot and other visualization methods for interpretation and diagnostics, and an effective merging strategy for network simplification. The proposed methods are demonstrated by simulation examples, benchmark datasets, and a real case study in home lending credit risk assessment.

研究动机与目标

• 为解决深度 ReLU 网络在关键任务应用中缺乏透明度和可解释性的问题。
• 开发一种严格且内在的可解释性方法，避免后处理解释技术所依赖的假设。
• 通过局部线性表示和可视化工具，实现对模型行为的诊断。
• 通过将冗余的局部线性模型合并为紧凑且高性能的结构，简化复杂的 ReLU 网络。
• 在基准数据集和一个真实世界的家庭贷款信用风险评估案例中，展示该框架的有效性。

提出的方法

• 该方法基于激活模式，将预训练的深度 ReLU 网络分解为一组等效的局部线性模型（LLMs），激活模式在输入空间中定义了凸多面体。
• 每个 LLM 对应一个唯一的激活模式，并在该区域内提供网络行为的线性近似。
• 引入局部线性轮廓图和平行坐标图作为可视化工具，用于解释特征重要性及跨区域的模型行为。
• 提出一种合并策略，将小规模或冗余的区域（尤其是样本量较小的区域）合并为更大、更稳定的 LLM。
• 合并过程使用带惩罚的逻辑回归（C=0.1）在合并区域上训练最终的 LLM，以提升泛化能力和预测性能。
• 最终简化的模型可实现为一个包含三个节点的前馈网络（FL-Net），替代原始 ReLU 网络。

实验结果

研究问题

• RQ1 能否通过激活模式系统性地将深度 ReLU 网络解耦为一组局部线性模型，以提升可解释性？
• RQ2 局部线性模型如何用于诊断模型行为，例如识别关键预测因子和区域特定的决策规则？
• RQ3 能否通过合并激活模式空间中的冗余或小规模区域，得到一个更简单、更稳健且性能更高的模型？
• RQ4 简化后的模型是否在预测性能上保持或优于原始 ReLU 网络？
• RQ5 局部线性模型如何反映现实世界领域知识，如信用风险动态？

主要发现

• 合并后的 LLM 模型在训练集上的 AUC 达到 0.8532，测试集 AUC 达到 0.8388，优于原始 ReLU-Net 的训练 AUC（0.8476）和测试 AUC（0.8316）。
• 最终简化的 FL-Net 在测试集上的 AUC 达到 0.8368，与合并后的网络表现相当，且优于原始 ReLU-Net。
• 区域 0（占数据的 85.2%）的响应均值为 0.460，局部 AUC 为 0.831，表明其为混合违约风险区域；区域 1（90% 违约）和区域 2（85.4% 无违约）表现出截然不同的风险特征。
• 轮廓图显示，在混合风险区域（区域 0）中，FICO 分数和 LTV 是关键预测因子；在高违约区域（区域 1）中，违约状态起主导作用；在高信用质量区域（区域 2）中，贷款发放时间是否处于金融危机前后（premod_ind）至关重要。
• 时间跨度变量 'h' 显示，对于低信用质量贷款，其风险率呈下降趋势（生存时间越长，违约风险越低），这与信用理论一致。
• 合并过程将原始 ReLU-Net 的 16 个区域减少至仅 3 个，表明大量区域是冗余的，可被整合而不会造成性能损失。