[论文解读] Statistical Significance Testing in Information Retrieval: An Empirical Analysis of Type I, Type II and Type III Errors

Julián Urbano, Harlley Lima+1 more|Research Repository (Delft University of Technology)|May 27, 2019

Information Retrieval and Search Behavior参考文献 45被引用 15

一句话总结

本论文基于TREC数据生成的超过500万条模拟p值，首次对信息检索中统计显著性检验的I类、II类和III类错误进行了大规模实证分析。研究发现，t检验和置换检验在不同指标和样本量下均能保持名义上的I类错误率，而Wilcoxon检验和自 resampling-shift 检验则表现出膨胀的I类错误，尤其在较大主题集下更为明显，尽管统计功效较高，但结论不可靠。

ABSTRACT

Statistical significance testing is widely accepted as a means to assess how well a difference in effectiveness reflects an actual difference between systems, as opposed to random noise because of the selection of topics. According to recent surveys on SIGIR, CIKM, ECIR and TOIS papers, the t-test is the most popular choice among IR researchers. However, previous work has suggested computer intensive tests like the bootstrap or the permutation test, based mainly on theoretical arguments. On empirical grounds, others have suggested non-parametric alternatives such as the Wilcoxon test. Indeed, the question of which tests we should use has accompanied IR and related fields for decades now. Previous theoretical studies on this matter were limited in that we know that test assumptions are not met in IR experiments, and empirical studies were limited in that we do not have the necessary control over the null hypotheses to compute actual Type I and Type II error rates under realistic conditions. Therefore, not only is it unclear which test to use, but also how much trust we should put in them. In contrast to past studies, in this paper we employ a recent simulation methodology from TREC data to go around these limitations. Our study comprises over 500 million p-values computed for a range of tests, systems, effectiveness measures, topic set sizes and effect sizes, and for both the 2-tail and 1-tail cases. Having such a large supply of IR evaluation data with full knowledge of the null hypotheses, we are finally in a position to evaluate how well statistical significance tests really behave with IR data, and make sound recommendations for practitioners.

研究动机与目标

• 在现实条件下，实证评估常见统计检验在信息检索中实际的I类和II类错误率。
• 通过测量实际错误率而非依赖不一致比率，解决长期存在的关于哪种显著性检验最适合信息检索评估的争议。
• 通过模拟具有已知原假设的评估分数，为实践者提供基于证据的建议。
• 评估参数检验与非参数检验（包括t检验、Wilcoxon检验、符号检验、自 resampling-shift 检验和置换检验）在不同有效性指标、主题集大小和效应量下的表现。

提出的方法

• 本研究基于真实的TREC评估数据，采用随机模拟方法，生成在已知原假设下的合成系统性能分数。
• 在多个组合下计算了超过500万条p值，包括有效性指标（AP、nDCG@20、ERR@20、P@10、RR）、主题集大小（25、50、100）、显著性水平（0.001至0.1）和效应量（δ = 0.01至0.1）。
• 模拟过程可完全控制原假设，从而直接计算实际的I类、II类和III类错误率。
• 对每组模拟比较应用配对统计检验（t检验、Wilcoxon检验、符号检验、自 resampling-shift 检验、置换检验），以评估其错误行为。
• 错误率既在所有比较中计算，也在显著结果中计算，以评估显著发现中错误发现的比例。
• 比较不同有效性指标下检验行为的差异，以评估分布变异性对错误率的影响。

实验结果

研究问题

• RQ1 当应用于具有已知原假设的真实IR评估数据时，常见统计检验的实际I类错误率如何？
• RQ2 t检验、Wilcoxon检验、符号检验、自 resampling-shift 检验和置换检验的I类错误率在不同有效性指标和主题集大小下，与名义显著性水平（α）的偏离程度如何？
• RQ3 I类和III类错误率如何随效应量和样本量变化？其中显著结果中实际错误的比例（即III类错误）是多少？
• RQ4 尽管自 resampling-shift 检验在理论上具有吸引力，但在实践中是否会导致I类错误率膨胀，特别是在小到中等样本量下？
• RQ5 在典型的IR评估场景中，哪种统计检验能提供I类错误控制与统计功效之间最可靠的平衡？

主要发现

• t检验和置换检验在所有有效性指标和主题集大小下均能将I类错误率保持在接近名义显著性水平（α）的范围内，表明其具有稳健性和可靠性。
• Wilcoxon检验表现出显著膨胀的I类错误率，尤其在主题集增大时更为明显，因此在关于系统平均有效性推断的假设检验中不可靠。
• 自 resampling-shift 检验始终表现出使p值偏小的系统性偏差，导致I类错误率高于名义水平，尤其在较小数据集下更为显著。
• 符号检验同样表现出较高的I类错误率，尤其在主题集较大时，由于其统计功效低且错误率高，不建议用于检验均值差异。
• 对于AP和P@10，当主题数为50且δ = 0.01时，III类错误率约为7.2–7.3%，意味着约7%的统计显著结果可能导致错误结论。
• 检验的错误行为在很大程度上与有效性指标的变异性无关；尽管RR等变异性较大的指标本身不会导致更高的检验错误率，但t检验和置换检验在所有指标下均保持稳定。