[论文解读] On "Strong control, conservative point estimation and simultaneous conservative consistency of false discovery rates": Does a large number of tests obviate confidence intervals of the FDR?

David R. Bickel|ArXiv.org|Apr 23, 2004

Statistical Methods in Clinical Trials参考文献 5被引用 9

一句话总结

本文挑战了大量假设检验可消除错误发现率（FDR）估计中置信区间的必要性这一假设。研究表明，即使有数千个检验，检验统计量中的长程相关性仍会导致高方差和不可接受的宽置信区间，因此即便在检验数量增加时FDR估计器收敛保守，仍需对FDR估计器的可靠性进行度量。

ABSTRACT

A previously proved theorem gives sufficient conditions for an estimator of the false discovery rate (FDR) to conservatively converge to the FDR with probability 1 as the number of hypothesis tests increases, even for small sample sizes. It does not follow that several thousand tests ensure that the estimator has moderate variance under those conditions. In fact, they can hold even if the test statistics have long-range correlations, which yield unacceptably wide confidence intervals, as observed in genomic data when there are 8 or 16 individuals (microarrays) per group. Thus, informative FDR estimation will include some measure of its reliability.

研究动机与目标

• 调查大量假设检验是否使错误发现率（FDR）置信区间的必要性变得不必要。
• 考察检验统计量中的长程相关性对FDR估计器方差的影响。
• 评估FDR估计器向真实FDR保守收敛是否意味着足够精确以适用于实际用途。
• 主张即使在保守收敛的情况下，可靠的FDR估计仍需包含不确定性度量。
• 评估在小样本量（例如每组8或16名个体）的基因组研究中FDR估计的可靠性。

提出的方法

• 分析随着检验数量增加，FDR估计器的渐近行为。
• 研究FDR估计器以概率1向真实FDR保守收敛的条件。
• 考虑检验统计量中长程相关性的作用，即使在大量检验下此类相关性仍可能持续存在。
• 在相关结构下评估FDR估计器的方差，表明其可能仍处于不可接受的高水平。
• 通过理论分析表明，保守收敛并不意味着低方差或窄置信区间。
• 主张应在FDR估计中引入置信区间，以反映估计器的可靠性，尤其是在小样本量的基因组数据中。

实验结果

研究问题

• RQ1 大量假设检验是否消除了FDR估计中置信区间的必要性？
• RQ2 检验统计量中的长程相关性如何影响FDR估计器的方差？
• RQ3 FDR估计器向真实FDR的保守收敛能否与高方差和宽置信区间共存？
• RQ4 在小样本量（例如每组8或16名个体）下，FDR估计的可靠性在多大程度上受到损害？
• RQ5 是否仅依赖FDR的保守点估计而无需评估其精度就足够？

主要发现

• 即使在数千个检验的情况下，由于检验统计量中的长程相关性，FDR估计器仍可能表现出高方差。
• FDR估计器向真实FDR的保守收敛并不意味着低方差或窄置信区间。
• 置信区间对于评估FDR估计的可靠性仍然至关重要，尤其是在小样本量的基因组研究中。
• 长程相关性可能导致宽置信区间，使得仅依靠点估计不足以进行推断。
• 在微阵列研究中，每组存在8或16名个体的情况，即使检验数量庞大，仍可能导致不可接受的宽置信区间。
• 可靠的FDR估计必须包含不确定性度量，以确保统计可靠性。