[论文解读] Online error control for platform trials

D. S. Robertson, James Wason+3 more|arXiv (Cornell University)|Feb 8, 2022

Statistical Methods in Clinical Trials被引用 4

一句话总结

本文提出在线错误控制方法——特别是家族错误率（FWER）和错误发现率（FDR）——以管理平台试验中按顺序增加治疗组时的多重性问题。通过模拟和对STAMPEDE前列腺癌试验的案例研究，表明在线程序如BatchPRDS和LOND在保持强FWER控制的同时，相较于邦费罗尼校正，显著提升了统计功效，尤其在中等数量治疗组和检验统计量存在依赖关系的现实试验设计下表现更优。

ABSTRACT

Platform trials evaluate multiple experimental treatments under a single master protocol, where new treatment arms are added to the trial over time. Given the multiple treatment comparisons, there is the potential for inflation of the overall type I error rate, which is complicated by the fact that the hypotheses are tested at different times and are not all necessarily pre-specified. Online error control methodology provides a possible solution to the problem of multiplicity for platform trials where a relatively large number of hypotheses are expected to be tested over time. In the online testing framework, hypotheses are tested in a sequential manner, where at each time-step an analyst decides whether to reject the current null hypothesis without knowledge of future tests but based solely on past decisions. Methodology has recently been developed for online control of the false discovery rate as well as the familywise error rate (FWER). In this paper, we describe how to apply online error control to the platform trial setting, present extensive simulation results, and give some recommendations for the use of this new methodology in practice. We show that the algorithms for online error rate control can have a substantially lower FWER than uncorrected testing, while still achieving noticeable gains in power when compared with the use of a Bonferroni procedure. We also illustrate how online error control would have impacted a currently ongoing platform trial.

研究动机与目标

• 为解决平台试验中治疗组按顺序增加、假设检验随时间进行所面临的多重性挑战。
• 在治疗组数量有限且检验统计量存在依赖关系的现实平台试验条件下，评估在线错误控制方法（特别是FWER与FDR）的性能。
• 比较在线方法与传统方法（如邦费罗尼校正）在控制第一类错误和统计功效方面的表现。
• 为在进行中及未来的平台试验中实施在线错误控制提供实用建议。

提出的方法

• 本研究采用在线假设检验框架，根据历史决策自适应分配显著性水平，无需预知未来检验。
• 评估两类主要方法：完全顺序检验（如LOND）和分批检验（如BatchPRDS），二者均旨在随时间控制FWER或FDR。
• 算法使用预设的显著性水平α和非负权重序列γi（其和为1），并根据历史拒绝结果动态调整临界值。
• 在不同情景下进行模拟：治疗组数量不同、反应模式不同、入组时间不同，以及总治疗组数的上限（N_bound）。
• STAMPEDE案例研究将在线方法应用于真实世界前列腺癌平台试验数据，评估其对拒绝率和错误控制的影响。
• 分析中考虑了共享对照组信息带来的影响，该因素导致检验统计量之间存在正相关性，并评估其对第一类错误膨胀的影响。

实验结果

研究问题

• RQ1 在中等数量治疗组的平台试验中，在线错误控制方法在控制家族错误率（FWER）方面的表现如何？
• RQ2 在平台试验中，使用在线方法与邦费罗尼校正或未校正检验相比，第一类错误控制与统计功效之间的权衡如何？
• RQ3 从共享对照组带来的正相关性如何影响平台试验环境中在线FWER与FDR程序的性能？
• RQ4 在完全顺序与分批检验场景下，LOND与BatchPRDS两种在线检验算法中，哪一种在功效与错误率控制之间提供了最佳平衡？
• RQ5 若在进行中的平台试验（如STAMPEDE）中采用在线错误控制，其结果在拒绝的假设数量与第一类错误率方面将有何不同？

主要发现

• LOND程序保证至少与邦费罗尼校正一样多的拒绝次数，且通常具有更高的敏感性，同时在各种模拟情景下保持合理的FWER控制。
• 在分批检验设置中，BatchPRDS在敏感性和析取功效方面与LOND相当或更优，且FWER保持在名义水平以下。
• 与未校正检验相比，在线方法显著降低了FWER，同时在有效治疗数适中时，相较于邦费罗尼校正仍能实现可观的统计功效提升。
• 即使在共享对照组导致正相关性的条件下，BatchPRDS的FWER膨胀风险也较低，使其在平台试验环境中尤为稳健。
• 在STAMPEDE案例研究中，在线方法在原始拒绝数量上未超过未校正检验，除非采用更宽松的α水平，但成功避免了由此带来的FWER膨胀。
• 在线算法的性能高度依赖于有效治疗数、检验顺序以及预设的上限N_bound，表明必须根据具体情境选择算法。