[论文解读] Multiple Test Functions and Adjusted p-Values for Test Statistics with Discrete Distributions

Joshua Habiger|arXiv (Cornell University)|Dec 1, 2014

Statistical Methods in Clinical Trials参考文献 14被引用 7

一句话总结

本文提出了一种针对离散检验统计量的多重检验统一框架，引入了调整后的p值和检验函数——特别是抽象随机化p值——相比传统随机化或非随机化方法，能有效降低偏差和变异性。当不同方法的决策结果不一致时，报告调整后的抽象随机化p值和检验函数尤为优越，尤其在大规模多重检验场景中。

ABSTRACT

The randomized $p$-value, (nonrandomized) mid-$p$-value and abstract randomized $p$-value have all been recommended for testing a null hypothesis whenever the test statistic has a discrete distribution. This paper provides a unifying framework for these approaches and extends it to the multiple testing setting. In particular, multiplicity adjusted versions of the aforementioned $p$-values and multiple test functions are developed. It is demonstrated that, whenever the usual nonrandomized and randomized decisions to reject or retain the null hypothesis may differ, the (adjusted) abstract randomized $p$-value and test function should be reported, especially when the number of tests is large. It is shown that the proposed approach dominates the traditional randomized and nonrandomized approaches in terms of bias and variability. Tools for plotting adjusted abstract randomized $p$-values and for computing multiple test functions are developed. Examples are used to illustrate the method and to motivate a new type of multiplicity adjusted mid-$p$-value.

研究动机与目标

• 解决在检验统计量具有离散分布时，传统p值在多重检验中存在局限性的问题。
• 将现有方法——随机化p值、中位p值和抽象随机化p值——统一并扩展为一个连贯的多重检验框架。
• 证明调整后的抽象随机化p值和检验函数在偏差和变异性方面优于传统方法。
• 为高维设置下绘制调整后的抽象随机化p值和计算多重检验函数提供实用工具。
• 当基于随机化与非随机化p值的决策出现分歧时，指导实践者选择更具信息量且统计上更可靠的报告方法。

提出的方法

• 构建一个统一框架，将检验函数与抽象随机化p值视为在离散分布下进行推断的互补工具。
• 提出抽象随机化p值和检验函数的多重性调整版本，确保家族错误率的强控制。
• 利用原假设下检验函数的期望来定义检验的大小，从而确保第一类错误控制正确。
• 应用迭代期望定律，证明在使用抽象随机化p值时，决策规则的方差最小化。
• 建议将调整后的抽象随机化p值绘制成区间以传达不确定性，尤其在检验函数不为0或1时。
• 推导并证明基于抽象随机化p值的检验函数在统计效率方面优于随机化和非随机化方法。

实验结果

研究问题

• RQ1 如何对p值和检验函数进行调整，以在具有离散检验统计量的多重检验中保持强错误率控制？
• RQ2 随机化与非随机化决策何时出现差异，忽略此类差异的统计后果是什么？
• RQ3 抽象随机化p值能否扩展至多重检验？其在偏差和变异性方面是否优于传统方法？
• RQ4 当p值接近显著性阈值时，检验函数在传达不确定性方面起什么作用？
• RQ5 当中位p值与随机化p值导致冲突决策时，实践者如何有效报告结果？

主要发现

• 调整后的抽象随机化p值和检验函数在偏差和变异性方面均优于随机化和非随机化方法，尤其在检验函数不为0或1时。
• 在具有离散检验统计量的场景中，非随机化中位p值可能导致错误决策，即使p值仅略高于0.05，而真实大小接近0.05。
• 抽象随机化p值通过基于未观测到的均匀随机变量定义，能更准确地反映决策的不确定性，并保持精确的大小控制。
• 当检验函数不为0或1时，将调整后的抽象随机化p值报告为区间（如上下界）比依赖单一p值更具信息量。
• 所提出的方法确保强家族错误率控制，在大规模多重检验中尤为有利，因为离散性会加剧决策不确定性。
• 理论证明表明，在抽象随机化p值框架下，决策规则的方差被最小化，支持其在统计上的主导地位。