[论文解读] Testing small study effects in multivariate meta-analysis

Chuan Hong, Georgia Salanti+5 more|arXiv (Cornell University)|May 24, 2018

Meta-analysis and systematic reviews参考文献 28被引用 7

一句话总结

本文提出了一种新颖的得分检验方法——多变量小研究效应检验（MSSET），用于在多变量荟萃分析中检测小研究效应（SSE），同时考虑发表偏倚和结果报告偏倚。该检验方法在不需依赖研究内相关系数的情况下，整合多个相关结局的证据，模拟和真实世界应用结果均显示其统计效能高于单变量检验，在44项Cochrane系统评价中表现优异。

ABSTRACT

Small study effects occur when smaller studies show different, often larger, treatment effects than large ones, which may threaten the validity of systematic reviews and meta-analyses. The most well-known reasons for small study effects include publication bias, outcome reporting bias and clinical heterogeneity. Methods to account for small study effects in univariate meta-analysis have been extensively studied. However, detecting small study effects in a multivariate meta-analysis setting remains an untouched research area. One of the complications is that different types of selection processes can be involved in the reporting of multivariate outcomes. For example, some studies may be completely unpublished while others may selectively report multiple outcomes. In this paper, we propose a score test as an overall test of small study effects in multivariate meta-analysis. Two detailed case studies are given to demonstrate the advantage of the proposed test over various naive applications of univariate tests in practice. Through simulation studies, the proposed test is found to retain nominal Type I error with considerable power in moderate sample size settings. Finally, we also evaluate the concordance between the proposed test with the naive application of univariate tests by evaluating 44 systematic reviews with multiple outcomes from the Cochrane Database.

研究动机与目标

• 为解决多变量荟萃分析（MMA）中缺乏检测小研究效应（SSE）统计方法的问题，MMA是一种联合分析多个相关结局的研究设置。
• 开发一种同时考虑发表偏倚和结果报告偏倚（ORB）的检验方法，这两种偏倚是MMA中常见但常被低估的SSE来源。
• 提出一种方法，可在不依赖研究内相关系数的情况下整合多个结局的证据，从而提升检测效能，优于单变量方法。
• 在模拟研究和真实世界系统评价中评估所提出检验方法的性能，尤其与单变量检验进行比较。

提出的方法

• 基于复合似然提出一种得分检验，用于评估多变量荟萃分析中的整体SSE，利用多个结局的联合分布。
• 该检验旨在检测多个结局在 funnel plot 中的不对称性，通过复合似然隐式建模研究间和研究内相关性。
• 无需估计研究内相关系数，而这些相关系数在实际中常未知或难以获取，但该方法在推断中仍能有效考虑它们的影响。
• 该方法将Egger的回归检验推广至多变量设置，当结局数J ≥ 2时，可作为自然推广。
• 该检验采用基于似然的框架，可处理不同数据类型和量纲的结局，从而增强灵活性和稳健性。
• 在无SSE的原假设下推导得分检验统计量，其渐近分布为卡方分布，满足常规正则条件。

实验结果

研究问题

• RQ1 当荟萃分析中存在多个结局时，多变量检验是否比单变量检验更有效地检测小研究效应？
• RQ2 所提出的MSSET在各种情境下（包括发表偏倚和结果报告偏倚）检测SSE的表现如何？
• RQ3 在中等样本量设置下，MSSET是否能保持适当的I类错误率，并实现高于单变量检验的统计效能？
• RQ4 在具有多个结局的真实世界系统评价中，该检验与单变量检验的直接应用相比表现如何？
• RQ5 MSSET在真实世界多变量荟萃分析中检测SSE的能力与单变量方法相比如何，特别是在结局相关时？

主要发现

• 所提出的MSSET检验在模拟研究中保持了名义上的I类错误率，并在中等样本量设置下表现出显著的检验效能。
• 在对44项具有多个结局的Cochrane系统评价的真实世界分析中，MSSET在显著性水平0.10下检测到7项（16%）荟萃分析存在SSE，优于单变量检验。
• Egger的回归检验仅在两项结局中分别检测到4项（9%）荟萃分析存在SSE，而Begg的等级检验和经Bonferroni校正的Egger检验则分别检测到6项（14%）荟萃分析存在SSE。
• MSSET与经Bonferroni校正的Egger检验具有最高的一致性，表明其在多个结局间对SSE的检测结果具有一致性。
• MSSET检测到的SSE实例数量多于任何一种单变量检验，证实其在识别多变量荟萃分析中潜在偏倚方面具有更高的统计效能和实际应用价值。
• 该方法具有稳健性，且无需研究内相关系数，使其比现有替代方法更具实用性与广泛适用性。