[论文解读] Towards Interrogating Discriminative Machine Learning Models

Wenbo Guo, Kaixuan Zhang+3 more|arXiv (Cornell University)|May 23, 2017

Machine Learning and Data Classification参考文献 15被引用 6

一句话总结

本文提出了一种结合多重弹性网络的贝叶斯回归混合模型，以提供判别性机器学习模型的全局、全模型解释。通过全局近似决策边界，该方法不仅能够实现准确的个体预测解释，还能通过对抗性样本生成发现模型漏洞，在文本和图像任务中均优于现有最先进技术，在可审查性和可解释性方面表现更优。

ABSTRACT

It is oftentimes impossible to understand how machine learning models reach a decision. While recent research has proposed various technical approaches to provide some clues as to how a learning model makes individual decisions, they cannot provide users with ability to inspect a learning model as a complete entity. In this work, we propose a new technical approach that augments a Bayesian regression mixture model with multiple elastic nets. Using the enhanced mixture model, we extract explanations for a target model through global approximation. To demonstrate the utility of our approach, we evaluate it on different learning models covering the tasks of text mining and image recognition. Our results indicate that the proposed approach not only outperforms the state-of-the-art technique in explaining individual decisions but also provides users with an ability to discover the vulnerabilities of a learning model.

研究动机与目标

• 解决深度神经网络等复杂判别性模型中缺乏全局可解释性的问题。
• 使用户能够超越单个预测，深入审视模型的优势与劣势。
• 开发一种黑箱解释方法，从高维、相关性高的特征中提取全局模式。
• 基于提取的模式生成对抗性和病态样本，以检测模型漏洞。
• 在提供模型行为整体视图方面超越现有局部解释方法（如LIME）

提出的方法

• 该方法采用贝叶斯线性回归混合模型，将目标机器学习模型的决策边界近似为一个全局函数。
• 在混合模型中集成多重弹性网络，以增强对高维、相关性输入数据的特征选择与模式提取能力。
• 模型学习一组混合成分，每个成分代表一个局部决策规则，并通过正则化识别关键特征。
• 通过分析混合模型中弹性网络正则化成分的系数与权重，获得全局解释。
• 利用模型识别出的模式生成对抗性和病态输入，以测试模型鲁棒性。
• 该方法将目标模型视为黑箱，仅需输入-输出对即可训练解释模型。

实验结果

研究问题

• RQ1 全局解释模型能否有效捕捉复杂判别性模型的决策行为？
• RQ2 提取的模式能否揭示模型对输入位置或旋转等敏感性的漏洞？
• RQ3 与LIME等局部解释技术相比，该方法在解释单个预测时表现如何？
• RQ4 该方法在多大程度上能够检测并生成暴露模型弱点的对抗性样本？
• RQ5 该方法能否在不同类型的模型（包括深度神经网络和传统分类器）上实现泛化？

主要发现

• 所提出的方法在解释个体预测方面优于现有最先进局部解释技术，尤其在捕捉全局决策模式方面表现更优。
• 基于提取模式生成的对抗性样本使深度神经网络的误分类概率超过99%，证实了模型对特定输入区域的敏感性。
• 通过随机化高能量模式区域生成的病态样本仍被以接近100%的置信度分类，表明模型依赖于学习到的模式而非人类可识别的特征。
• 在文本分类任务中，将方法识别出的关键词（如'dos'）替换为其他类别中的术语，显著降低了模型置信度，验证了提取模式的准确性。
• 该方法揭示了模型在区分视觉上相似类别（如数字4和9）时可能存在困难，提示其在特征区分能力上存在固有缺陷。
• 该方法成功识别出数字分类器对图像中心区域高度依赖，且对有限旋转具有容忍性，与实际观察到的模型行为一致。