[论文解读] Phases of methodological research in biostatistics - building the evidence base for new methods

Georg Heinze, Anne‐Laure Boulesteix+3 more|arXiv (Cornell University)|Sep 27, 2022

Statistical Methods in Clinical Trials被引用 8

一句话总结

本文提出了一种四阶段框架，用于生物统计学中的方法论研究，以加强新统计方法的证据基础，其结构类似于临床试验的阶段划分。该框架强调通过逻辑证明、窄范围的实证检验、跨多种场景的广泛适用性以及对比评估来实现严格验证，以确定方法论偏好。目前仅有少数方法在所有阶段均达到充分成熟。

ABSTRACT

Although the biostatistical scientific literature publishes new methods at a very high rate, many of these developments are not trustworthy enough to be adopted by the scientific community. We propose a framework to think about how a piece of methodological work contributes to the evidence base for a method. Similarly to the well-known phases of clinical research in drug development, we define four phases of methodological research. These four phases cover (I) providing logical reasoning and proofs, (II) providing empirical evidence, first in a narrow target setting, then (III) in an extended range of settings and for various outcomes, accompanied by appropriate application examples, and (IV) investigations that establish a method as sufficiently well-understood to know when it is preferred over others and when it is not. We provide basic definitions of the four phases but acknowledge that more work is needed to facilitate unambiguous classification of studies into phases. Methodological developments that have undergone all four proposed phases are still rare, but we give two examples with references. Our concept rebalances the emphasis to studies in phase III and IV, i.e., carefully planned methods comparison studies and studies that explore the empirical properties of existing methods in a wider range of problems.

研究动机与目标

• 解决生物统计学中新开发统计方法缺乏可靠证据支持的问题。
• 建立一种类似临床试验阶段的结构化、分阶段方法论研究方法。
• 将关注重点转向在多样化场景中对方法进行全面评估，并与现有替代方法进行比较。
• 推动经过充分验证且适用于现实世界应用的方法论发展。
• 鼓励科学界优先开展方法评估的第三阶段和第四阶段研究。

提出的方法

• 该框架定义了四个阶段：(I) 逻辑推理与数学证明，(II) 在特定目标场景中的实证评估，(III) 在多种场景和结果类型中扩展评估并辅以应用实例，(IV) 对比分析以确定方法论偏好。
• 第一阶段通过正式推导和证明确保理论上的严谨性。
• 第二阶段在特定、明确定义的情境中开展模拟研究，以评估初步性能。
• 第三阶段将模拟研究扩展至更广泛的场景、样本量和结果类型，以检验方法的稳健性。
• 第四阶段包括对比研究，评估新方法在各种条件下与现有方法的性能，以确定其在何种情境下更具优势。
• 该框架促进系统化、透明化且可累积的方法论发展。

实验结果

研究问题

• RQ1 如何对生物统计学中的方法论研究进行结构化设计，以建立更强的证据基础？
• RQ2 哪些标准可用来区分可信的统计方法与缺乏充分验证的方法？
• RQ3 方法论发展如何从理论构想到广泛采用的工具逐步推进？
• RQ4 对比研究在确定方法论偏好中发挥何种作用？
• RQ5 为何目前仅有少数方法论发展被认为具备足够的可靠性以供采纳？

主要发现

• 所提出的四阶段框架为方法论研究提供了结构化路径，显著提升了新统计方法的可靠性和可信度。
• 第一阶段通过逻辑推理和数学证明确保理论严谨性。
• 第二阶段通过模拟研究在特定、明确定义的场景中建立初始实证性能。
• 第三阶段将实证评估扩展至多样化场景、样本量和结果类型，并辅以实际应用实例。
• 第四阶段通过在不同情境下将新方法与现有替代方法进行对比，支持关于方法论偏好的明智决策。
• 仅有极少数方法论发展完成了全部四个阶段，凸显了在方法论研究中应更加重视第三阶段和第四阶段的必要性。