[论文解读] Online control of the false discovery rate with decaying memory

Aaditya Ramdas, Fanny Yang+2 more|arXiv (Cornell University)|Oct 2, 2017

Statistical Methods in Clinical Trials参考文献 6被引用 20

一句话总结

本文提出 GAI++——一种增强的在线错误发现率（FDR）控制框架，通过动态 alpha-wealth 管理提升统计功效，整合先验权重与惩罚权重以实现领域特定的假设优先排序，并引入衰减记忆 FDR（mem-FDR）以解决时序检验中的“搭便车”和“alpha 耗尽”问题。该方法在确保 FDR 控制的同时，显著提升了顺序检验场景下的统计功效。

ABSTRACT

In the online multiple testing problem, p-values corresponding to different null hypotheses are observed one by one, and the decision of whether or not to reject the current hypothesis must be made immediately, after which the next p-value is observed. Alpha-investing algorithms to control the false discovery rate (FDR), formulated by Foster and Stine, have been generalized and applied to many settings, including quality-preserving databases in science and multiple A/B or multi-armed bandit tests for internet commerce. This paper improves the class of generalized alpha-investing algorithms (GAI) in four ways: (a) we show how to uniformly improve the power of the entire class of monotone GAI procedures by awarding more alpha-wealth for each rejection, giving a win-win resolution to a recent dilemma raised by Javanmard and Montanari, (b) we demonstrate how to incorporate prior weights to indicate domain knowledge of which hypotheses are likely to be non-null, (c) we allow for differing penalties for false discoveries to indicate that some hypotheses may be more important than others, (d) we define a new quantity called the decaying memory false discovery rate (mem-FDR) that may be more meaningful for truly temporal applications, and which alleviates problems that we describe and refer to as "piggybacking" and "alpha-death". Our GAI++ algorithms incorporate all four generalizations simultaneously, and reduce to more powerful variants of earlier algorithms when the weights and decay are all set to unity. Finally, we also describe a simple method to derive new online FDR rules based on an estimated false discovery proportion.

研究动机与目标

• 为解决现有在线 FDR 方法的局限性，特别是顺序检验中的“搭便车”和“alpha 耗尽”问题。
• 通过基于拒绝结果的动态 alpha-wealth 管理，提升在线多重检验中的统计功效。
• 通过先验权重和差异化的错误容忍度，整合领域特定知识以实现对假设的优先排序。
• 形式化一种新的 FDR 指标——衰减记忆 FDR（mem-FDR），更好地反映顺序检验中的时序依赖性。
• 将先前的 alpha-投资算法统一并泛化为一个更强大、更统一的框架（GAI++）

提出的方法

• 提出一种广义 alpha-投资（GAI）框架，采用动态 alpha-wealth 更新规则，每次拒绝后增加财富，从而在单调程序中统一提升功效。
• 引入先验权重以编码关于假设为非零可能性的领域知识，使更有希望的假设可采用更高的显著性阈值。
• 整合惩罚权重以反映不同类型假发现的后果差异，实现对不同假设的差异化错误容忍度。
• 定义一种新的 FDR 指标——mem-FDR，通过时间上的指数衰减对旧发现进行降权，降低长期记忆对 FDR 估计的影响。
• 基于估计的假发现比例，推导出一类新的在线 FDR 规则，实现在顺序检验中的自适应阈值设定。
• 通过局部鞅论证和递归财富动态，建立理论上的 FDR 控制，证明在新 GAI++ 规则下，mem-FDR 的上界为 α。

实验结果

研究问题

• RQ1 在线 FDR 控制能否在保持理论保证的前提下提升功效？
• RQ2 如何系统性地将关于假设非零性的先验知识整合到在线 FDR 程序中？
• RQ3 惩罚权重能否用于建模顺序检验中假发现的差异成本？
• RQ4 衰减记忆机制是否能缓解在线 FDR 控制中的“搭便车”和“alpha 耗尽”问题？
• RQ5 能否开发一个统一框架，泛化现有在线 FDR 规则并提升性能？

主要发现

• 所提出的 GAI++ 框架通过在每次拒绝后增加 alpha-wealth，统一提升了所有单调广义 alpha-投资程序的功效，解决了近期文献中的一项困境。
• 引入先验权重可提升在测试序列中优先处理非零假设时的预期发现数量。
• 惩罚权重使 FDR 控制能够灵活适配特定应用的风险特征，例如在临床试验中优先考虑安全性。
• 衰减记忆 FDR（mem-FDR）指标有效缓解了“搭便车”（延迟假发现）和“alpha 耗尽”（alpha-wealth 最终耗尽）问题，尤其在长序列或无限序列中表现显著。
• 理论分析证明，在零假设下，GAI++ 可在非 i.i.d. p 值和时变阈值条件下将 mem-FDR 控制在 α 水平。
• 附录中的数值模拟结果表明，无论是否使用信息性权重或衰减机制，GAI++ 在各种配置下均实现了比基线在线 FDR 方法更高的发现率。