[论文解读] Statistical hypothesis testing versus machine-learning binary classification: distinctions and guidelines

Jingyi Jessica Li, Xin Tong|arXiv (Cornell University)|Jul 3, 2020

Gene expression and cancer classification参考文献 68被引用 48

一句话总结

本文厘清了统计假设检验与机器学习二分类之间的根本区别，强调了其不同目标——推断总体层面的真相与预测实例层面的标签。文章提出了五条实用指南，帮助数据分析师根据其分析目标选择合适的方法，通过癌症驱动基因预测案例加以验证，表明二分类方法在发现准确率上优于传统假设检验。

ABSTRACT

Making binary decisions is a common data analytical task in scientific research and industrial applications. In data sciences, there are two related but distinct strategies: hypothesis testing and binary classification. In practice, how to choose between these two strategies can be unclear and rather confusing. Here we summarize key distinctions between these two strategies in three aspects and list five practical guidelines for data analysts to choose the appropriate strategy for specific analysis needs. We demonstrate the use of those guidelines in a cancer driver gene prediction example.

研究动机与目标

• 厘清统计假设检验与机器学习二分类在概念与方法论上的差异。
• 解决从业者在两者应用重叠的情况下，对何时使用何种方法的普遍困惑。
• 为数据分析师提供五条实用且可操作的指南，依据其分析目标选择合适策略。
• 通过癌症驱动基因预测的案例研究，展示这些指南在现实世界中的实用性。

提出的方法

• 作者从三个核心维度对比假设检验与二分类：数据与决策的关系、决策规则的构建方式以及评估标准。
• 他们在每个框架内定义了四个关键概念——二元问题、二元答案、决策规则与二元决策，以明确其不同作用。
• 本文使用癌症驱动基因预测任务，通过交叉验证与AUPRC评估二分类性能，对两种策略进行实证比较。
• 文章指出，假设检验评估的是总体层面的属性（如差异表达），而二分类则基于特征预测个体实例的标签（如基因是否为驱动基因）。
• 作者主张，当目标是预测新实例时，应优先使用二分类，尤其是当训练数据具有代表性时。
• 他们说明，逻辑回归可同时充当分类器与假设检验工具，展示了两种方法的重叠性。

实验结果

研究问题

• RQ1 统计假设检验与机器学习二分类之间在概念与方法论上的关键差异是什么？
• RQ2 在现实应用中，数据分析师在何种情况下应选择假设检验而非二分类，反之亦然？
• RQ3 两种策略在评估标准与决策规则构建过程中的差异是什么？
• RQ4 假设检验的洞见能否改进二分类器的设计，反之亦然？
• RQ5 在何种场景下，单一算法（如逻辑回归）可同时服务于两种目的？

主要发现

• 假设检验评估的是总体层面属性（如差异表达）是否具有统计显著性，而二分类则基于特征预测个体实例的标签（如驱动基因状态）。
• 在相同数据集中，通过AUPRC评估的二分类方法可实现比传统假设检验更高的癌症驱动基因发现准确率。
• 本研究证明，利用突变特征模式的二分类方法在精度与发现性能方面均优于先前方法。
• 假设检验中的决策规则由检验统计量与显著性阈值推导得出，而二分类中的决策规则则通过逻辑回归或SVM等算法从训练数据中学习得到。
• 尽管存在差异，两种策略可相互启发——例如，检验统计量可启发分类器设计，而分类器提取的特征可成为假设检验的新目标。
• 逻辑回归是兼具分类算法与假设检验工具双重角色的典型示例，尤其体现在对单个系数的Wald检验中。