[论文解读] Understanding Prediction Discrepancies in Machine Learning Classifiers

Xavier Renard, Thibault Laugel+1 more|arXiv (Cornell University)|Apr 12, 2021

Explainable Artificial Intelligence (XAI)参考文献 12被引用 6

一句话总结

本文提出 DIG（Discrepancy Intervals Generation），一种模型无关的方法，用于检测和解释在相同数据上训练的高性能分类器之间的局部预测差异。通过利用训练数据识别特定特征的分歧区域，DIG 提供可操作的、局部化的解释，帮助从业者避免高风险预测并做出更明智的模型选择，评估结果显示在验证集上不同模型之间的差异率在 10.64%–28.81% 之间。

ABSTRACT

A multitude of classifiers can be trained on the same data to achieve similar performances during test time, while having learned significantly different classification patterns. This phenomenon, which we call prediction discrepancies, is often associated with the blind selection of one model instead of another with similar performances. When making a choice, the machine learning practitioner has no understanding on the differences between models, their limits, where they agree and where they don't. But his/her choice will result in concrete consequences for instances to be classified in the discrepancy zone, since the final decision will be based on the selected classification pattern. Besides the arbitrary nature of the result, a bad choice could have further negative consequences such as loss of opportunity or lack of fairness. This paper proposes to address this question by analyzing the prediction discrepancies in a pool of best-performing models trained on the same data. A model-agnostic algorithm, DIG, is proposed to capture and explain discrepancies locally, to enable the practitioner to make the best educated decision when selecting a model by anticipating its potential undesired consequences. All the code to reproduce the experiments is available.

研究动机与目标

• 解决当多个分类器表现相似但预测结果不一致时，模型选择中缺乏可解释性的问题。
• 识别并解释在相同数据集上训练的多个模型在预测上的局部差异，特别是在模型产生分歧的区域。
• 提供可操作的、基于特征层面的差异解释，以支持高风险机器学习应用中的更好决策。
• 使从业者能够预见因模型选择而引发的负面后果，如不公平或机会丧失。
• 超越聚合指标，提供基于局部、有依据的模型差异解释，以提升模型可靠性。

提出的方法

• DIG 构建训练数据的基于图的表示，其中节点代表数据点，边根据特征接近度连接相似实例。
• 通过比较同一数据点在多个模型上的预测结果，该方法识别出分歧节点——即多个模型产生不同预测的实例。
• 对于每个实例，DIG 在优化后的图上使用 k-NN 计算分歧区间，捕捉模型分歧发生的特征值范围。
• 该算法聚合最近的分歧区间，为给定预测提供全面、基于特征的局部分歧解释。
• 它利用训练数据发现分歧区域，而无需访问模型内部结构，从而确保模型无关性与计算效率。
• 该方法包括对分歧节点进行聚类（如 t-SNE 和 k-means），以可视化和理解特征空间中分歧的空间模式。

实验结果

研究问题

• RQ1 为何在相同数据上训练的高性能分类器尽管整体性能相似，仍表现出显著的局部预测差异？
• RQ2 输入空间中的哪些特征或区域最可能导致模型分歧？
• RQ3 能否在不依赖模型特定内部结构的前提下，生成局部且可操作的差异解释？
• RQ4 从业者如何利用分歧解释来避免高风险预测或提升模型可靠性？
• RQ5 分歧在特征空间中的空间与结构模式是什么？能否通过可视化指导数据收集或模型优化？

主要发现

• 在测试数据集中，表现最佳的分类器之间性能差异小于 5%，但在验证集上仍存在 10.64% 至 28.81% 的实例预测不一致，凸显了预测差异的普遍性。
• 特征如“平均房间数（RM）”和“人均犯罪率（CRIM）”被一致识别为局部模型分歧的主要贡献因素。
• 分歧区域主要集中于类别边界的区域，在大多数情况下形成一个大而弥散的分歧区域。
• 聚类分析揭示了孤立的高分歧区域，例如 CRIM 值较高（>3）的区域，这些区域在训练数据中代表性不足，且易导致模型不稳定。
• 对每个实例聚合最近的 10 个分歧区间，相比仅使用单一区间，能提供更全面、更可靠的解释。
• DIG 有效识别出可操作的分歧模式，使从业者能够优先开展数据收集或在高分歧区域采取特别谨慎措施。