[论文解读] Optimal Rerandomization via a Criterion that Provides Insurance Against Failed Experiments

Adam Kapelner, Abba Μ. Krieger+2 more|arXiv (Cornell University)|May 8, 2019

Advanced Causal Inference Techniques参考文献 34被引用 6

一句话总结

本文提出了一种最优重随机化设计，通过在平衡可观测协变量不平衡的同时考虑未观测协变量不平衡的风险，最小化估计误差。该方法结合了可观测协变量的马氏距离与未观测不平衡的鲁棒风险度量，确定最优重随机化阈值，从而在随机化试验中提高实验精度与统计功效。

ABSTRACT

We present an optimized rerandomization design procedure for a non-sequential treatment-control experiment. Randomized experiments are the gold standard for finding causal effects in nature. But sometimes random assignments result in unequal partitions of the treatment and control group visibly seen as imbalance in observed covariates. There can additionally be imbalance on unobserved covariates. Imbalance in either observed or unobserved covariates increases treatment effect estimator error inflating the width of confidence regions and reducing experimental power. "Rerandomization" is a strategy that omits poor imbalance assignments by limiting imbalance in the observed covariates to a prespecified threshold. However, limiting this threshold too much can increase the risk of contracting error from unobserved covariates. We introduce a criterion that combines observed imbalance while factoring in the risk of inadvertently imbalancing unobserved covariates. We then use this criterion to locate the optimal rerandomization threshold based on the practitioner's level of desired insurance against high estimator error. We demonstrate the gains of our designs in simulation and in a dataset from a large randomized experiment in education. We provide an open source R package available on CRAN named OptimalRerandExpDesigns which generates designs according to our algorithm.

研究动机与目标

• 解决随机化实验中协变量不平衡的问题，该问题会增加方差并降低统计功效。
• 开发一种重随机化策略，以最优方式权衡可观测协变量平衡与未观测不平衡的风险。
• 提供一个原则性且稳健的准则，用于选择最小化处理效应估计误差的重随机化阈值。
• 确保在所提出设计下实现有效的统计推断（无偏估计与适当的假设检验）。
• 通过 R 包提供实用且开源的实现，便于在临床与教育实验中实际应用。

提出的方法

• 提出一种准则，结合可观测协变量不平衡（通过马氏距离度量）与未观测协变量不平衡的风险项。
• 使用在模型误设下潜在估计误差分布的鲁棒近似，假设误差服从正态分布或指定偏离正态分布的情况。
• 通过优化方法寻找最小化期望估计方差的阈值 $a_*$，以平衡可观测与未观测不平衡的风险。
• 采用灵活的设计空间，包含平衡完全随机设计（BCRD）与贪心成对交换算法，以进一步减少不平衡。
• 整合基于核函数的距离度量（如高斯核），以建模协变量与结果之间复杂且非线性的关系。
• 通过 R 包 `OptimalRerandExpDesigns` 提供软件实现，用于生成最优重随机化设计。

实验结果

研究问题

• RQ1 在考虑未观测协变量不平衡的前提下，最小化处理效应估计误差的最优重随机化阈值是什么？
• RQ2 与标准重随机化相比，所提出的准则在估计方差与实验功效方面表现如何？
• RQ3 模型误设（如非正态误差）对最优重随机化设计性能有何影响？
• RQ4 引入贪心成对交换算法对最优设计的效率与稳健性有何影响？
• RQ5 在各种分布假设下，该方法能否保持有效的统计推断（无偏估计与正确的第一类错误率）？

主要发现

• 与标准重随机化相比，所提出的准则显著降低了估计方差，尤其在决定系数较高或存在未观测混杂因素的情境下效果更明显。
• 最优阈值 $a_*$ 对误差分布偏离正态性的变化具有鲁棒性，在非正态设定下假设正态性时性能损失极小。
• 模拟研究与一项教育实验的真实数据表明，该方法提高了实验精度并增强了统计功效。
• 引入贪心成对交换算法以生成低不平衡分配，显著提升了设计效率，同时不损害随机性。
• R 包 `OptimalRerandExpDesigns` 使研究人员能够以极低计算开销实现最优重随机化设计。
• 该方法对任意选择的重随机化阈值 $a$ 均能确保有效的统计推断（无偏估计与适当尺寸的假设检验）。