[论文解读] Null/No Information Rate (NIR): a statistical test to assess if a classification accuracy is significant for a given problem

Manuele Bicego, Antonella Mensi|arXiv (Cornell University)|Jun 9, 2023

Sensor Technology and Measurement Systems被引用 10

一句话总结

本论文引入了一种单侧二项检验，用以确定分类器的准确率是否显著高于信息缺失率（NIR）或随机基线，为评估分类性能提供正式的统计框架。

ABSTRACT

In many research contexts, especially in the biomedical field, after studying and developing a classification system a natural question arises: "Is this accuracy enough high?", or better, "Can we say, with a statistically significant confidence, that our classification system is able to solve the problem"? To answer to this question, we can use the statistical test described in this paper, which is referred in some cases as NIR (No Information Rate or Null Information Rate).

研究动机与目标

• 说明评估分类准确率是否足够高的必要性。
• 定义信息缺失率（NIR）及其作为分类任务基线的作用。
• 提出基于二项检验的程序，以评估观测到的准确性相对于 NIR（或随机基线）的显著性。
• 提供在生物医学与机器学习背景下应用该检验的实用指南和参考文献。

提出的方法

• 将分类任务建模为二项实验，若被正确分类则记为成功。
• 定义基线：随机准确率（1/C）和基于训练集中最频繁类别的 NIR。
• 计算测试集上的观测准确度 acc(C) 以及正确预测的数量 t(C)。
• 将 p 设为基线成功概率（p = NIR 或 p = accRand），q = 1 − p。
• 计算单边 p 值：pval = sum_{k=t(C)}^{m} C(m,k) p^k q^{m−k}。
• 可选地计算双边 p 值：pval2 = 2 * sum_{k=t(C)}^{m} C(m,k) p^k q^{m−k}。

实验结果

研究问题

• RQ1 分类器是否显著地高于信息缺失率（NIR）或随机基线？
• RQ2 如何量化给定测试集大小的观测准确性的统计显著性？
• RQ3 在何种情况下适合对 NIR 比较使用二项检验的正态近似？
• RQ4 实践者如何在生物医学或 ML 场景中实现并解释基于 NIR 的显著性检验？

主要发现

• 单边二项检验可以评估观测准确性是否显著高于 NIR（或随机基线）。
• p 值利用观测到的正确分类数和基线概率从二项分布计算。
• 可获取双尾 p 值以在不假设方向性的情况下测试准确性与基线之间的任何差异。
• 该方法在 R caret 生态系统中实现，作者提供了 Matlab 代码。
• 当 mpq ≥ 5 时，相关文献建议使用正态近似，尽管本文未在文中明确评估。
• 该方法提供一种实用、数据驱动的分类准确性基线比较。