[论文解读] RESI: An R Package for Robust Effect Sizes

Megan Jones, Kaidi Kang+1 more|arXiv (Cornell University)|Feb 23, 2023

Data Analysis with R被引用 7

一句话总结

本文介绍了RESI R包，这是一种用于在各种统计模型中计算稳健、模型无关的效应量指数（RESI）及其精确置信区间的工具。该工具可统一报告系数、ANOVA表和Wald检验的效应量，支持可视化及转换为Cohen's d和R²等其他效应量指标，从而解决了应用研究中效应量估计与报告的关键局限性。

ABSTRACT

Effect size indices are useful parameters that quantify the strength of association and are unaffected by sample size. There are many available effect size parameters and estimators, but it is difficult to compare effect sizes across studies as most are defined for a specific type of population parameter. We recently introduced a new Robust Effect Size Index (RESI) and confidence interval, which is advantageous because it is not model-specific. Here we present the RESI R package, which makes it easy to report the RESI and its confidence interval for many different model classes, with a consistent interpretation across parameters and model types. The package produces coefficient, ANOVA tables, and overall Wald tests for model inputs, appending the RESI estimate and confidence interval to each. The package also includes functions for visualization and conversions to and from other effect size measures. For illustration, we analyze and interpret three different model types.

研究动机与目标

• 解决缺乏一种适用于多种模型类型和参数类型的统一、稳健的效应量度量的问题。
• 克服现有效应量度量的局限性，包括模型特异性、缺乏置信区间以及无法处理干扰参数的问题。
• 开发一个R包，将RESI估计无缝集成到标准模型摘要（如系数、ANOVA、Wald检验）中，以提升使用便捷性。
• 通过支持效应量的轻松计算、可视化和转换为其他常见效应量指标，促进效应量的广泛应用。
• 通过提供一致且稳健的指数，支持研究中效应量报告的透明性、可解释性和可重复性。

提出的方法

• RESI从检验统计量（F、t、Z、卡方）和自由度计算得出，通过一种标准化变换，使效应量在不同模型类型间保持一致。
• 该包采用基于自举法的置信区间程序，确保在小样本或非正态误差情况下仍具有准确的覆盖概率。
• 扩展了现有的模型摘要函数（如summary.lm、anova），将RESI估计值和置信区间直接附加到输出表格中。
• 该包支持基于模型的输入（如拟合模型对象）和直接输入检验统计量、自由度及样本量两种方式。
• 可视化函数（如plot.resi）可生成带标签的效应量图，支持自定义边距和文本缩放。
• 转换函数支持RESI与其他常见效应量指标（如Cohen’s d、f²和R²）之间的相互转换。

实验结果

研究问题

• RQ1 是否可以可靠地在多种统计模型（包括线性模型、ANOVA和回归模型）中估计单一、稳健的效应量指数？
• RQ2 在标准误存在异方差性或非正态性时，如何以模型无关的方式准确计算效应量的置信区间？
• RQ3 RESI包在多大程度上提升了应用统计实践中效应量报告的可及性与一致性？
• RQ4 与传统的效应量度量（如Cohen’s d或R²）相比，RESI在不同数据结构下的可解释性和稳健性如何？
• RQ5 RESI是否能有效用于比较具有不同参数化方式和干扰变量的跨研究、跨模型的效应量？

主要发现

• RESI提供了稳定、模型无关的效应量估计，不受样本大小或模型特定假设的影响。
• 完整线性模型的RESI估计值为0.3595（95%置信区间：0.3205, 0.4214），解释为中等到大效应，展示了其在真实世界数据中的实用性。
• 该包成功将RESI估计值和置信区间附加到标准模型摘要中，包括系数表、ANOVA表和整体Wald检验。
• RESI可可靠地转换为其他常见效应量指标（如Cohen’s d、f²和R²），增强了与现有文献的兼容性。
• 可视化函数支持用户以自定义标签和轴缩放方式绘制RESI估计值，提升了结果的可解释性与沟通效果。
• 该包支持基于模型和基于检验统计量的双重输入方式，为使用非标准或新实现模型的用户提供了更高的灵活性。