[论文解读] The Risk of Machine Learning

Alberto Abadie, Maximilian Kasy|arXiv (Cornell University)|Mar 31, 2017

Statistical Methods and Inference参考文献 29被引用 5

一句话总结

本文分析了在经验经济学中常见的高维设定下，正则化机器学习估计器（岭回归、套索、预检）的风险（均方误差）。研究发现，通过 Stein 的无偏风险估计或交叉验证进行数据驱动的正则化参数选择，可使估计器的风险 uniformly 接近于最优（不可行）选择，为应用研究人员在估计器选择和调参方面提供了实用指导。

ABSTRACT

Many applied settings in empirical economics involve simultaneous estimation of a large number of parameters. In particular, applied economists are often interested in estimating the effects of many-valued treatments (like teacher effects or location effects), treatment effects for many groups, and prediction models with many regressors. In these settings, machine learning methods that combine regularized estimation and data-driven choices of regularization parameters are useful to avoid over-fitting. In this article, we analyze the performance of a class of machine learning estimators that includes ridge, lasso and pretest in contexts that require simultaneous estimation of many parameters. Our analysis aims to provide guidance to applied researchers on (i) the choice between regularized estimators in practice and (ii) data-driven selection of regularization parameters. To address (i), we characterize the risk (mean squared error) of regularized estimators and derive their relative performance as a function of simple features of the data generating process. To address (ii), we show that data-driven choices of regularization parameters, based on Stein's unbiased risk estimate or on cross-validation, yield estimators with risk uniformly close to the risk attained under the optimal (unfeasible) choice of regularization parameters. We use data from recent examples in the empirical economics literature to illustrate the practical applicability of our results.

研究动机与目标

• 为应用经济学家在高维估计问题中选择岭回归、套索和预检估计器提供实用指导。
• 分析在固定和 oracle 最优正则化参数下，正则化估计器的风险（均方误差）。
• 评估基于数据驱动方法（SURE 和交叉验证）选择正则化参数在风险最小化方面的表现。
• 根据数据生成过程的特征（如稀疏性和方差）表征估计器的相对性能。
• 将理论风险分析扩展至包含大量处理效应、子组效应和高维预测模型的设定。

提出的方法

• 建模从观测值 $X_1, \ldots, X_n$ 估计多个均值 $\mu_1, \ldots, \mu_n$ 的过程，其中 $X_i$ 是 $\mu_i$ 的噪声估计器，涵盖处理效应和预测建模等应用。
• 定义分量估计器 $\widehat{\mu}_i = m(X_i, \lambda)$，其中 $\lambda$ 为正则化参数，$\lambda=0$ 对应无正则化估计，$\lambda>0$ 则诱导向零收缩。
• 推导估计器的风险（均方误差）作为估计器与在层次模型下不可行的最优后验均值之间距离的函数。
• 使用 $\mu_i$ 的分布的参数模型，包括在零处的点质量（稀疏性）和正态条件分布，推导在 oracle $\lambda$ 下的解析风险函数。
• 应用 Stein 的无偏风险估计（SURE）和交叉验证进行 $\lambda$ 的数据驱动选择，证明风险一致收敛至 oracle 风险。
• 通过在分布类 $\mathcal{Q}$ 上的概率一致收敛，建立数据驱动准则可一致选择出具有近似最优风险的 $\lambda$。

实验结果

研究问题

• RQ1 在不同数据生成过程中（特别是稀疏性和方差方面），岭回归、套索和预检估计器的风险特性如何比较？
• RQ2 基于 SURE 或交叉验证的数据驱动正则化参数选择的理论性能，相对于不可行的 oracle 选择如何？
• RQ3 在何种条件下，岭回归在高维估计设定中优于套索或预检估计器？
• RQ4 正则化估计器的风险如何依赖于真实参数 $\mu_i$ 的分布，特别是零效应的比例？
• RQ5 能否在一大类分布上建立 SURE 和交叉验证等数据驱动准则的风险一致收敛？

主要发现

• 最优正则化估计器是给定 $X_i$ 和 $\mu_1, \ldots, \mu_n$ 的经验分布下 $\mu_i$ 的后验均值，作为风险分析的基准。
• 在具有稀疏性（零点质量）和正态条件分布的参数模型下，当真实零值比例较小时，岭回归优于套索和预检估计器。
• 通过 Stein 的无偏风险估计（SURE）进行 $\lambda$ 的数据驱动选择，可使估计器的风险以概率一致收敛至 oracle 最优 $\lambda$ 的风险。
• 在分布类 $\mathcal{Q}$ 的正则性条件下，交叉验证也能产生风险 uniformly 接近 oracle 风险的估计器。
• 无正则化最大似然估计器（$\widehat{\mu}_i = X_i$）的风险为 $\sigma_i^2$，当 $\mu_i$ 接近零时，该风险被正则化估计器所主导。
• 若满足套索的条件，且 $|x|\widehat{f}(x)$ 被一致一致估计，则预检估计器的 SURE 准则可实现风险的一致收敛。