[论文解读] The replication of equivalence studies

Charlotte Micheloud, Leonhard Held|arXiv (Cornell University)|Apr 14, 2022

Statistical Methods in Clinical Trials被引用 5

一句话总结

本文提出了兩種方法——雙次試驗法與懷疑型TOST——用於分析與設計等價性設計的重複研究，其目標是在預先定義的範圍內確認效應量可忽略不計。懷疑型TOST程序透過允許原始研究或重複研究的結果非顯著時仍能對成功有所貢獻，從而提升研究功效，同時在顯著水準α²下嚴格控制第一類錯誤。

ABSTRACT

Replication studies are increasingly conducted to assess the credibility of scientific findings. Most of these replication attempts target studies with a superiority design, but there is a lack of methodology regarding the analysis of replication studies with alternative types of designs, such as equivalence. In order to fill this gap, we propose two approaches, the two-trials rule and the sceptical TOST procedure, adapted from methods used in superiority settings. Both methods have the same overall Type-I error rate, but the sceptical TOST procedure allows replication success even for non-significant original or replication studies. This leads to a larger project power and other differences in relevant operating characteristics. Both methods can be used for sample size calculation of the replication study, based on the results from the original one. The two methods are applied to data from the Reproducibility Project: Cancer Biology.

研究动机与目标

• 解決缺乏針對等價性設計之重複研究分析方法的問題，特別是在原始研究結果非顯著時的情境。
• 將現有的優勢性基底重複方法——雙次試驗法與懷疑p值——延伸至等價性設定。
• 即使原始研究的p值超過α，也能基於原始研究結果計算重複研究之樣本數。
• 透過允許非顯著結果在等價性標準下貢獻於重複成功，改善重複性評估。
• 在常態分配假設與足夠樣本量下，確保兩種方法的整體第一類錯誤率控制在α²。

提出的方法

• 將優勢性研究中的雙次試驗法調整至等價性設計，要求在原始研究與重複研究中，兩組單尾TOST檢定均在顯著水準α下拒絕H₀⁺與H₀⁻。
• 應用懷疑型TOST程序，該程序使用反向貝葉斯方法校準p值，即使原始或重複研究的p值非顯著，仍允許重複成功。
• 使用受控的懷疑p值，以確保當兩項研究的真實效應量為零時，整體第一類錯誤率與雙次試驗法相同（即α²）。
• 利用標準常態分配分位數與各項研究的精確度比率，推導重複研究z分數（z_r⁺）與原始研究z分數（z_o⁺）的成功區域。
• 利用原始研究的估計效應量、標準誤差與顯著水準，實施重複研究之樣本數計算。
• 使用p值函數與信賴區間方法評估等價性，未來工作將致力發展懷疑型信賴區間。

实验结果

研究问题

• RQ1 雙次試驗法如何適應等價性設計的重複研究？
• RQ2 懷疑型TOST程序在等價性重複設定中，是否能較雙次試驗法提升研究功效？
• RQ3 當原始或重複研究結果非顯著時，對等價性標準下的重複成功有何影響？
• RQ4 當原始研究的p值超過α時，如何計算重複研究的樣本數？
• RQ5 懷疑型TOST程序在不同效應量下的第一類錯誤與功效表現為何？

主要发现

• 懷疑型TOST程序因允許即使原始或重複TOST的p值非顯著，仍可達成重複成功，因而較雙次試驗法提升研究功效。
• 當重複樣本數足夠大時，兩種方法均精確控制整體第一類錯誤率於α²。
• 懷疑型TOST程序的條件第一類錯誤率最多為雙次試驗法的兩倍，此一結果被部分作者視為可接受。
• 懷疑型TOST程序即使在原始研究p值超過α時，亦能進行重複研究之樣本數計算，而雙次試驗法則無法做到。
• 懷疑型TOST程序下z_r⁺的成功區域由原始研究z分數與研究精確度比率的非線性轉換定義。
• 建議針對等價邊界δ，進行p_max與p_S_max的敏感度分析，因結果取決於所選的δ。