[论文解读] Prediction Scores as a Window into Classifier Behavior

Medha Katehara, Emma Beauxis-Aussalet+1 more|ArXiv.org|Nov 18, 2017

Machine Learning and Data Classification参考文献 3被引用 3

一句话总结

本文介绍了 Classilist，一个基于网络的交互式可视化系统，用于分析多分类器的预测得分，以揭示分类器的行为、可靠性及偏差。通过将得分分布与分类正确性及样本特征关联，该系统支持对各类别的详细分析，揭示了诸如误分类模式、得分校准不当以及类别特异性偏差等问题，从而提供有助于提升模型可解释性与设计的洞察。

ABSTRACT

Most multi-class classifiers make their prediction for a test sample by scoring the classes and selecting the one with the highest score. Analyzing these prediction scores is useful to understand the classifier behavior and to assess its reliability. We present an interactive visualization that facilitates per-class analysis of these scores. Our system, called Classilist, enables relating these scores to the classification correctness and to the underlying samples and their features. We illustrate how such analysis reveals varying behavior of different classifiers. Classilist is available for use online, along with source code, video tutorials, and plugins for R, RapidMiner, and KNIME at https://katehara.github.io/classilist-site/.

研究动机与目标

• 解决多分类器中对最高类别预测之外的预测得分缺乏系统性分析的问题。
• 使研究人员和实践者能够通过可视化探索得分分布，诊断分类器行为、可靠性及数据质量问题。
• 提供一个交互式、可扩展且易于访问的工具，将预测得分与分类正确性及样本底层特征关联起来。
• 通过可视化得分模式、假阳性分布及类别特异性行为，支持不同分类器之间的对比分析。
• 通过 R、RapidMiner 和 KNIME 的插件以及基于网络的界面，使预测得分分析更加易用。

提出的方法

• Classilist 使用基于直方图的可视化方法，按分类结果（真正例、假正例、假负例）对每种类别的预测得分分布进行颜色编码显示。
• 系统整合了多视图之间的刷选与链接功能：得分直方图、特征箱线图、混淆矩阵以及用于详细检查的样本查看器。
• 用户可按分类正确性与得分范围筛选样本，并动态调整概率轴以聚焦于有效得分区间。
• 系统支持交互式探索：点击直方图中的某一栏将同步高亮所有视图中对应的样本，包括在其他类别中被误分类的实例。
• 可筛选得分非零的真正例，以识别边界情况及潜在的误分类风险。
• Classilist 作为开源的 Web 应用构建，同时提供 R、RapidMiner 和 KNIME 的插件，可无缝集成至机器学习工作流中。

实验结果

研究问题

• RQ1 不同分类器的预测得分分布有何差异？它们揭示了模型行为的哪些洞察？
• RQ2 高置信度预测在多大程度上与正确分类相关？在高分情况下，分类器在何处仍会出错？
• RQ3 得分分布的可视化如何暴露类别特异性偏差或数据质量问题，如误标样本或类别重叠？
• RQ4 交互式探索得分分布是否有助于识别误分类的原因，例如特征层面的模式或模糊的样本表征？
• RQ5 可视化系统如何在保持可解释性与交互性的同时，有效扩展至数十个类别？

主要发现

• k=2 的 k-近邻分类器在数字 '5' 上产生了三峰分布的直方图，揭示了基于邻居类别构成的三类聚类——三个峰值分别对应于有 2 个、1 个或 0 个邻居为 '5' 的样本。
• 朴素贝叶斯分类器在 '5' 类的最高得分区间内表现出大量假正例，表明尽管预测置信度高，但其得分校准效果极差。
• 神经网络分类器在预测得分降低时表现出误差率逐渐上升的趋势，表明其在低置信度水平下行为更一致但可靠性较低。
• 即使被正确分类，'5' 类也系统性地获得较低得分，表明该类别存在强烈偏差，主要源于数据集中该类别内部的高变异性。
• 对于 '5' 类，得分在 20% 至 40% 之间的样本几乎全部为真实 '5'，但均被错误分类，表明通过加权方式进行得分重校准可在不增加假正例的前提下减少错误。
• 可视化揭示了对某一类别得分非零的真正例代表边界情况，具有较高的误分类风险，尤其在输入发生微小扰动时。