[论文解读] Regularized Orthogonal Machine Learning for Nonlinear Semiparametric Models

Denis Nekipelov, Vira Semenova+1 more|arXiv (Cornell University)|Jun 13, 2018

Advanced Causal Inference Techniques参考文献 40被引用 6

一句话总结

本文提出了一种用于非线性半参数模型中高维稀疏参数的Lasso型估计器，该模型包含条件矩限制（CMRs），通过Neyman正交损失函数确保对异质性函数估计偏差的鲁棒性。该方法通过调整矩函数使其与估计误差正交，从而实现Oracle速率收敛，即使在使用机器学习工具估计高维异质性分量（如倾向得分或条件选择概率）时也能实现有效推断。

ABSTRACT

This paper proposes a Lasso-type estimator for a high-dimensional sparse parameter identified by a single index conditional moment restriction (CMR). In addition to this parameter, the moment function can also depend on a nuisance function, such as the propensity score or the conditional choice probability, which we estimate by modern machine learning tools. We first adjust the moment function so that the gradient of the future loss function is insensitive (formally, Neyman-orthogonal) with respect to the first-stage regularization bias, preserving the single index property. We then take the loss function to be an indefinite integral of the adjusted moment function with respect to the single index. The proposed Lasso estimator converges at the oracle rate, where the oracle knows the nuisance function and solves only the parametric problem. We demonstrate our method by estimating the short-term heterogeneous impact of Connecticut's Jobs First welfare reform experiment on women's welfare participation decision.

研究动机与目标

• 开发一种基于单指数条件矩限制（CMRs）在半参数模型中估计高维稀疏参数的方法。
• 解决在使用机器学习估计时，高维异质性函数（如倾向得分或条件选择概率）带来的估计偏差问题。
• 确保估计器即使在真实异质性函数未知且通过正则化估计时，仍能达到Oracle收敛速率。
• 建立基于正交化损失函数的Lasso估计器实现一致收敛和根n渐近正态性的理论条件。
• 通过部分线性逻辑模型和具有异质处理效应的缺失数据模型的应用，展示该方法的实际效用。

提出的方法

• 该方法将调整后的矩函数相对于单指数的不定积分构造为损失函数，保持单指数结构的同时确保正交性。
• 对矩函数应用Neyman正交化程序，使损失函数的梯度对异质性函数估计中的第一阶段正则化偏差不敏感。
• 推导出调整后的矩函数，以保持单指数性质，同时确保损失函数的梯度与异质性分量（如p(x), q(x), V(d,x)）的扰动正交。
• 对所得损失函数应用Lasso估计器，ℓ₁-惩罚项用于在高维参数向量中实现稀疏性。
• 在温和的正则性和稀疏性条件下，利用机器学习中的泛化界理论，推导出理论保证。
• 在三种设定下验证该方法：具有异质处理效应的部分线性逻辑模型、缺失数据模型以及不完全信息静态博弈模型，每种设定均给出Oracle收敛的充分条件。

实验结果

研究问题

• RQ1 Lasso型估计器是否能在具有条件矩限制和高维异质性函数的高维半参数模型中实现Oracle收敛速率？
• RQ2 如何修改损失函数，以确保异质性分量的估计偏差不影响参数估计器的渐近分布？
• RQ3 基于正交化损失函数的Lasso估计器在ℓ₁-受限参数球上实现一致收敛的条件是什么？
• RQ4 异质性函数估计器需满足哪些充分基本条件，以确保梯度正交性和推断有效性？
• RQ5 所提出的方法能否应用于现实世界因果推断问题，如政策实验中异质处理效应的估计？

主要发现

• 在温和的正则性和稀疏性条件下，所提出的Lasso估计器以Oracle速率收敛，即其收敛速率与已知真实异质性函数时相同。
• 矩函数的正交化确保损失函数梯度对异质性函数的一阶扰动不敏感，从而在存在高维估计偏差时仍能实现有效推断。
• 在康涅狄格州Jobs First福利改革的实证应用中，该方法成功检测到对福利参与的异质处理效应，结果表明正交损失对可靠推断至关重要。
• 理论分析确认，基于调整后矩函数不定积分的损失函数，可确保在凸情况下ℓ₁-正则化M-估计器的全局收敛性，符合Negahban等（2012）的结论。
• 对于部分线性逻辑模型和缺失数据模型，该方法实现了样本矩在ℓ₁-受限集合上对总体矩的一致收敛，将泛化界扩展至单指数CMRs。
• 异质性函数估计器（如p(x), q(x), V(d,x)）的收敛速率被证明受包含√(log p / n)和估计误差率πₙ, qₙ的项所限制，这些项被纳入整体速率保证中。