[论文解读] VeriX: Towards Verified Explainability of Deep Neural Networks

Min Wu, Haoze Wu+1 more|arXiv (Cornell University)|Dec 2, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

VeriX 引入了一种针对深度神经网络的可验证可解释性框架，通过约束求解和特征级敏感性排序，生成在连续、无限扰动下具有形式化保证的最优、鲁棒解释。它还能自动在决策边界附近生成反事实样本，在图像识别和自主飞机滑行任务中展现出可扩展性和可证明的正确性。

ABSTRACT

We present VeriX (Verified eXplainability), a system for producing optimal robust explanations and generating counterfactuals along decision boundaries of machine learning models. We build such explanations and counterfactuals iteratively using constraint solving techniques and a heuristic based on feature-level sensitivity ranking. We evaluate our method on image recognition benchmarks and a real-world scenario of autonomous aircraft taxiing.

研究动机与目标

• 为解决 LIME 和 SHAP 等模型无关可解释性方法缺乏形式化保证的问题，这些方法可能掩盖偏差或在分布偏移下失效。
• 克服现有形式化解释方法在处理简单模型或离散扰动时的可扩展性和精度限制。
• 生成对输入空间中连续、无限扰动具有鲁棒性的最优、最小化解释，同时保持计算可行性。
• 在解释与反事实之间建立形式化联系，实现在无需额外开销的情况下自动生成反事实。
• 在真实世界的安全关键应用中评估该框架，包括自主飞机滑行，以证明其实际可信性。

提出的方法

• 使用约束求解计算对输入空间中连续、无限扰动具有形式化保证的鲁棒解释。
• 采用特征级敏感性排序启发式方法，引导最优解释的搜索过程，提升高维输入下的可扩展性。
• 集成验证器（如 DeepPoly 或完整搜索）以检查扰动某一特征是否会改变模型的预测，确保正确性。
• 应用递归精炼过程，维护一个无关特征集 B 和一个解释集 A，根据验证结果迭代剪枝特征。
• 利用解释与反事实之间的对偶性：解释集 A 中的特征是那些扰动能改变预测的特征，从而实现反事实的自动生成。
• 支持完整与不完整验证过程（如 DeepPoly），允许在解释大小与生成时间之间进行权衡。

实验结果

研究问题

• RQ1 我们能否为深度神经网络生成在连续、无限扰动下具有形式化保证的最优、最小化解释？
• RQ2 如何高效扩展解释生成过程以适应高维输入和大型模型？
• RQ3 解释与反事实之间的关系是什么？能否从解释过程中自动生成反事实？
• RQ4 与完整搜索相比，使用不完整验证（如 DeepPoly）如何影响解释大小和生成时间？
• RQ5 该框架能否有效应用于真实世界的安全关键应用，如自主飞机滑行？

主要发现

• VeriX 生成了具有形式化保证的可证明鲁棒解释，确保只有解释集 A 中的特征能改变模型的预测。
• 使用特征级敏感性排序可减少解释大小并提升可扩展性，尤其在图像等高维输入中表现显著。
• 在 MNIST 上，VeriX 使用完整验证时，解释大小平均为 330.8（敏感性）和 467.4（随机），平均生成时间分别为 106.11 秒和 100.19 秒。
• 在 GTSRB 上，VeriX 生成的解释大小平均为 385.2（敏感性）和 400.2（随机），平均时间分别为 858.39 秒和 816.38 秒，扰动范围 ε=0.5%。
• 使用不完整验证（如 DeepPoly）会导致更大的解释，但生成速度更快，在 MNIST（ε=5%）上的权衡更明显，而在 GTSRB（ε=0.5%）上则较缓和。
• 该框架成功识别出揭示偏差的特征——如在医疗诊断模型中识别出肤色特征——展示了其在高风险 AI 应用中公平性评估的潜力。