[论文解读] Varying impacts of letters of recommendation on college admissions: Approximate balancing weights for subgroup effects in observational studies

Eli Ben‐Michael, Avi Feller+1 more|arXiv (Cornell University)|Aug 10, 2020

Advanced Causal Inference Techniques参考文献 42被引用 7

一句话总结

本文提出了一种近似平衡权重方法，旨在优化观察性研究中全局与局部协变量平衡，以估计推荐信对大学录取的异质性处理效应。通过结合凸优化与分层倾向得分模型，该方法提升了子组特定的平衡性并减少了偏差，揭示出推荐信对预测录取概率较高的申请者提升录取几率的效果更显著，而对于代表性不足的少数族裔群体，其影响则存在混合证据。

ABSTRACT

In a pilot program during the 2016-17 admissions cycle, the University of California, Berkeley invited many applicants for freshman admission to submit letters of recommendation. We use this pilot as the basis for an observational study of the impact of submitting letters of recommendation on subsequent admission, with the goal of estimating how impacts vary across pre-defined subgroups. Understanding this variation is challenging in observational studies, however, because estimated impacts reflect both actual treatment effect variation and differences in covariate balance across groups. To address this, we develop balancing weights that directly optimize for ``local balance'' within subgroups while maintaining global covariate balance between treated and control units. We then show that this approach has a dual representation as a form of inverse propensity score weighting with a hierarchical propensity score model. In the UC Berkeley pilot study, our proposed approach yields excellent local and global balance, unlike more traditional weighting methods, which fail to balance covariates within subgroups. We find that the impact of letters of recommendation increases with the predicted probability of admission, with mixed evidence of differences for under-represented minority applicants.

研究动机与目标

• 估计推荐信（LORs）对大学录取的影响在不同子组之间（尤其是代表性不足的少数族裔群体，URMs）如何变化。
• 解决观察性研究中协变量不平衡的挑战，其中估计的处理效应差异可能源于不平衡而非真实的异质性。
• 开发一种权重方法，确保在子组内实现近似局部平衡，同时在整体上实现精确全局平衡，从而减少子组效应估计中的偏差。
• 证明所提出的方法在有限样本中优于传统逆倾向得分加权法，因其直接针对子组层面的平衡进行优化。
• 将权重与结果模型结合以进行偏差校正，增强因果推断的稳健性。

提出的方法

• 构建一个凸优化问题，以最小化每个子组内的局部不平衡度量，同时强制实现处理组与对照组之间的精确全局平衡。
• 提出一种同时针对局部与全局协变量平衡的平衡权重，确保协变量分布在子组内近似相等，且在整体上完全相等。
• 建立该方法的对偶表示形式，即作为具有分层倾向得分模型的逆倾向得分加权，其中子组特定参数部分收敛于全局模型。
• 使用拉格朗日对偶公式推导优化问题，解通过协变量的阈值线性函数从对偶变量映射到原始权重。
• 将权重估计器与结果模型结合以进行偏差校正，类似于匹配方法中的双重稳健估计。
• 采用敏感性分析评估结果对未观测混杂因素的稳健性，量化需多大程度的未观测协变量不平衡才能推翻研究结果。

实验结果

研究问题

• RQ1 提交推荐信对大学录取概率的影响是否在不同子组之间存在差异，特别是在代表性不足的少数族裔群体中？
• RQ2 推荐信的影响如何随申请者的预测录取概率而变化？
• RQ3 一种能同时确保局部与全局协变量平衡的权重方法，是否能优于标准逆倾向得分加权法，从而改善子组特定处理效应的估计？
• RQ4 未观测混杂因素在多大程度上影响推荐信影响的估计？研究结果对这类偏差有多稳健？
• RQ5 所提出的平衡权重方法在有限样本中是否能实现更好的协变量平衡与更低的估计误差，相较于现有方法？

主要发现

• 所提出的平衡权重方法实现了出色的局部与全局协变量平衡，优于传统逆倾向得分加权法，后者在子组内无法实现协变量平衡。
• 推荐信对录取概率的影响随预测录取概率的提高而增强，表明推荐信对已有较高录取可能性的申请者更具益处。
• 关于推荐信对代表性不足少数族裔申请者的影响是否存在差异，目前证据混合，未检测到显著或一致的子组特定差异。
• 该方法作为分层倾向得分模型的对偶表示形式，证实了其理论基础，并将其与既有的因果推断框架联系起来。
• 敏感性分析表明，需存在显著的未观测混杂（相当于未观测协变量的标准化不平衡超过0.5），才能消除推荐信的估计正向效应。
• 将权重估计器与结果模型结合可进一步降低估计误差，并增强对模型误设的稳健性。