[论文解读] Optimal Stratification of Survey Experiments

Max Cytrynbaum|arXiv (Cornell University)|Nov 16, 2021

Advanced Causal Inference Techniques被引用 6

一句话总结

本文提出了一种两阶段最优分层框架，用于调查实验，通过在精细分层设计下联合优化代表性抽样与平衡处理分配，实现对处理效应异质性的协变量自适应分层，从而最小化方差。该方法在预算约束下实现非参数方差缩减与渐近效率，实际应用显示在真实实验中显著提升了估计精度。

ABSTRACT

This paper studies a two-stage model of experimentation, where the researcher first samples representative units from an eligible pool, then assigns each sampled unit to treatment or control. To implement balanced sampling and assignment, we introduce a new family of finely stratified designs that generalize matched pairs randomization to propensities p(x) not equal to 1/2. We show that two-stage stratification nonparametrically dampens the variance of treatment effect estimation. We formulate and solve the optimal stratification problem with heterogeneous costs and fixed budget, providing simple heuristics for the optimal design. In settings with pilot data, we show that implementing a consistent estimate of this design is also efficient, minimizing asymptotic variance subject to the budget constraint. We also provide new asymptotically exact inference methods, allowing experimenters to fully exploit the efficiency gains from both stratified sampling and assignment. An application to nine papers recently published in top economics journals demonstrates the value of our methods.

研究动机与目标

• 解决由于调查实验中抽样不具代表性与处理分配不平衡导致的实验设计低效问题。
• 开发一个统一框架，联合优化抽样与处理分配阶段，以最小化处理效应估计的方差。
• 提供一种对异质成本具有鲁棒性的设计，实现在固定实验预算下的高效推断。
• 形式化并求解在预算约束下具有异质抽样与分配倾向的最优设计问题。
• 实现渐近精确推断，充分挖掘来自分层抽样与分层分配的效率增益。

提出的方法

• 提出一种两阶段实验设计：首先，基于预测处理效应异质性的协变量，使用同质组进行精细分层抽样。
• 提出一种新颖的匹配算法，形成大小为 $k$ 的同质组，以最小化与估计效率相关的目标函数。
• 对处理分配应用精细分层随机化，将配对设计推广至任意分配概率 $p(x) \neq 1/2$ 的情形。
• 引入一种局部随机化机制，确保在分层条件下满足条件独立性，并实现基于设计的推断。
• 通过求解在固定预算下最小化渐近方差的约束优化问题，推导出最优抽样强度 $q^*(x)$ 与分配倾向 $p^*(x)$。
• 开发新的渐近精确推断方法，同时考虑分层抽样与分层分配，实现对复杂设计下的有效推断。

实验结果

研究问题

• RQ1 如何通过联合优化抽样与处理分配来改进实验设计，以减少处理效应估计的方差？
• RQ2 当单位间成本异质且预算固定时，最优的抽样与分配概率应如何确定？
• RQ3 在存在处理效应异质性的情况下，精细分层抽样相较于简单随机抽样如何降低方差？
• RQ4 能否在实践中高效实现对最优设计的一致估计，以在预算约束下最小化渐近方差？
• RQ5 在何种条件下，所提出的实验设计可达到 Hahn (1998) 对平均处理效应的方差下界？

主要发现

• 精细分层抽样通过将该分量的有效样本量与抽样单位数成比例缩放，而非与真实实验规模成比例，从而降低由处理效应异质性引起的方差。
• 在精细分层分配下，所提出的设计实现了 Hahn (1998) 对平均处理效应的方差下界，通过设计实现非参数回归调整。
• 最优抽样分层变量是那些对处理效应异质性预测力最强的变量，扩展了 Bai (2022) 的结果。
• 在成本异质条件下，最优抽样强度 $q^*(x)$ 与分配倾向 $p^*(x)$ 作为最小化渐近方差的约束优化问题的解被推导得出。
• 该方法实现了渐近精确推断，充分挖掘了来自抽样与分配分层的效率增益，经九篇顶级经济学期刊论文的应用验证。
• 实证应用显示显著的效率增益，与标准实验设计相比，所提出的设计显著降低了标准误。