[论文解读] Optimizing Graphical Procedures for Multiplicity Control in a Confirmatory Clinical Trial via Deep Learning

Tianyu Zhan, Alan Hartford+2 more|arXiv (Cornell University)|Aug 27, 2019

Statistical Methods in Clinical Trials参考文献 43被引用 8

一句话总结

本文提出了一种基于前馈神经网络（FNNs）的深度学习增强型优化框架，用于在确证性临床试验中识别最优图形化检验程序，平衡多重性控制与检验效能。该方法通过数值逼近复杂的目标函数，在鲁棒性和效率方面优于传统无导数优化方法，相较于随机搜索方法，实现最高达5.1%的多重性校正后检验效能提升，同时保持较低的收敛变异性。

ABSTRACT

In confirmatory clinical trials, it has been proposed to use a simple iterative graphical approach to construct and perform intersection hypotheses tests with a weighted Bonferroni-type procedure to control type I errors in the strong sense. Given Phase II study results or other prior knowledge, it is usually of main interest to find the optimal graph that maximizes a certain objective function in a future Phase III study. In this article, we evaluate the performance of two existing derivative-free constrained methods, and further propose a deep learning enhanced optimization framework. Our method numerically approximates the objective function via feedforward neural networks (FNNs) and then performs optimization with available gradient information. It can be constrained so that some features of the testing procedure are held fixed while optimizing over other features. Simulation studies show that our FNN-based approach has a better balance between robustness and time efficiency than some existing derivative-free constrained optimization algorithms. Compared to the traditional stochastic search method, our optimizer has moderate multiplicity adjusted power gain when the number of hypotheses is relatively large. We further apply it to a case study to illustrate how to optimize a multiple testing procedure with respect to a specific study objective.

研究动机与目标

• 为确证性临床试验中多个终点的最优图形化检验程序选择提供解决方案。
• 在复杂多重性控制问题中，提升现有无导数约束优化方法（如ISRES、COBYLA）在鲁棒性与时间效率方面的表现。
• 开发一种可扩展、数值稳定的优化框架，利用深度学习近似多重检验程序中难以解析求解的目标函数。
• 通过模拟研究与真实世界案例研究，证明该方法在平衡效能增益、收敛可靠性与计算效率方面的优越性。

提出的方法

• 该方法利用前馈神经网络（FNNs）对因复杂相关结构而难以解析求解的图形化检验程序的潜在目标函数进行数值近似。
• 将优化问题建模为约束优化任务，允许对某些特征（如显著性水平）施加固定约束，同时对其他特征进行优化。
• 对FNN近似的目标准则应用基于梯度的优化方法，实现对最优图形结构的高效搜索。
• 使用R语言的nloptr包实现该框架，并通过不同假设数量与相关结构的模拟研究进行验证。
• 在相同约束与设置下，将该方法与随机搜索（SSM）、ISRES和COBYLA进行对比，以评估性能表现。
• FNN方法在包含大量候选图（B）和p值（n）的模拟数据上进行训练，通过调整B和n来调节精度。

实验结果

研究问题

• RQ1 基于深度学习的方法是否能在临床试验多重性控制的最优图形化检验程序识别中，优于传统无导数优化方法？
• RQ2 与随机搜索相比，FNN优化器在效能增益、收敛速度与解的稳定性方面表现如何？
• RQ3 当假设数量增加时，FNN方法在鲁棒性与效率方面能保持多大程度的稳定性？
• RQ4 该方法在真实世界临床试验设计中，如何处理显著性水平与终点优先级的约束？

主要发现

• 在案例研究中，FNN优化器达到最高的目标函数值78.0%，优于ISRES（77.4%）、COBYLA（77.2%）和SSM（76.6%）。
• 该方法展现出更优的收敛稳定性，在100次重复实验中标准差仅为0.04%，显著低于ISRES的0.23%与COBYLA的0.54%。
• 与随机搜索方法（SSM）相比，FNN方法平均实现5.1%的多重性校正后效能提升，相较于ISRES更实现10%以上的增益。
• 尽管平均运行时间较长（17.1分钟），FNN方法在鲁棒性与一致性方面优于ISRES，后者在时间限制内未能收敛。
• 该方法在保持合理计算成本（所有模拟中均低于20分钟）的同时，实现中等程度的效能增益，较COBYLA高出0.5%。
• 当模拟图数量（B）与p值数量（n）增加时，FNN方法提供可靠且可重复的解决方案，精度显著提升。