[论文解读] Optimal Procedures for Multiple Testing Problems

Saharon Rosset, Ruth Heller+2 more|arXiv (Cornell University)|Apr 26, 2018

Statistical Methods in Clinical Trials参考文献 21被引用 6

一句话总结

本文将多重检验问题形式化为无限维优化问题，以在控制家庭错误率（FWER）或错误发现率（FDR）的同时最大化统计功效。对于可交换的原假设，本文表明这些问题可作为无限线性规划求解，从而为三个独立正态总体均值提供了显式的最优检验程序，在功效上显著优于现有方法。

ABSTRACT

Multiple testing problems are a staple of modern statistical analysis. The fundamental objective of multiple testing procedures is to reject as many false null hypotheses as possible (that is, maximize some notion of power), subject to controlling an overall measure of false discovery, like family-wise error rate (FWER) or false discovery rate (FDR). In this paper we formulate multiple testing of simple hypotheses as an infinite-dimensional optimization problem, seeking the most powerful rejection policy which guarantees strong control of the selected measure. In that sense, our approach is a generalization of the optimal Neyman-Pearson test for a single hypothesis. We show that for exchangeable hypotheses, for both FWER and FDR and relevant notions of power, these problems can be formulated as infinite linear programs and can in principle be solved for any number of hypotheses. We apply our results to derive explicit optimal tests for FWER or FDR control for three independent normal means. We find that the power gain over natural competitors is substantial in all settings examined. We also characterize maximin rules for complex alternatives, and demonstrate that such rules can be found in practice, leading to improved practical procedures compared to existing alternatives.

研究动机与目标

• 开发一种通用的最优多重检验程序框架，以在控制错误率的同时最大化检验功效。
• 通过将问题形式化为无限维优化任务，将Neyman-Pearson引理由单个假设扩展至多重假设。
• 在可交换原假设的设定下，求解FWER和FDR控制下的最优拒绝规则。
• 在FWER和FDR约束下，推导出三个独立正态总体均值的显式最优检验。
• 通过求解相应的优化问题，刻画复杂备择假设下的极大极小规则，并改进实际的多重检验程序。

提出的方法

• 将简单原假设的多重检验问题形式化为无限维优化问题，以在错误率约束下最大化统计功效。
• 在FWER和FDR控制下，针对可交换原假设，将优化问题表示为无限线性规划。
• 利用对偶性与泛函分析技术，刻画最优拒绝策略。
• 将该框架应用于推导在FWER和FDR控制下，三个独立正态总体均值的显式最优程序。
• 通过求解相应的优化问题，刻画复杂备择假设下的极大极小规则。
• 证明所得到的程序在实践中可计算，从而实现更优的实际检验程序。

实验结果

研究问题

• RQ1 在控制家庭错误率的前提下，最大化功效的最优拒绝策略是什么？
• RQ2 如何为可交换原假设下的错误发现率控制，推导出最优多重检验程序？
• RQ3 在FWER和FDR控制下，三个独立正态总体均值的最优检验的显式形式是什么？
• RQ4 所提出的最优程序在有限样本设置下与标准竞争方法相比，功效增益如何？
• RQ5 能否在多重检验中有效推导并实现复杂备择假设下的极大极小规则？

主要发现

• 在可交换性假设下，最优多重检验问题可形式化为无限线性规划，从而实现理论与计算上的求解。
• 对于三个独立正态总体均值，所提出的最优程序在FWER和FDR控制下均显著优于自然竞争方法，功效增益显著。
• 该框架通过将Neyman-Pearson引理由单个假设推广至无限维优化设置，实现了对多重假设的推广。
• 复杂备择假设下的极大极小规则可被有效推导并实际实施，从而得到更稳健的检验程序。
• 结果表明，对于一大类具有强错误率控制的多重检验问题，最优程序存在且可计算。