[论文解读] Semiparametric panel data models using neural networks

Andrew Crane‐Droesch|arXiv (Cornell University)|Feb 21, 2017

Statistical Methods and Inference参考文献 9被引用 6

一句话总结

本文提出了一种半参数面板数据模型，利用前馈神经网络估计非线性关系，同时保持时间趋势和个体效应的无偏参数估计。该方法在预测县级玉米产量方面优于普通最小二乘法（OLS）、LASSO和随机森林，实现了更低的均方误差（MSE）和更好的外推性能，通过近似名义置信区间覆盖度，对复杂天气-产量关系进行建模。

ABSTRACT

This paper presents an estimator for semiparametric models that uses a feed-forward neural network to fit the nonparametric component. Unlike many methodologies from the machine learning literature, this approach is suitable for longitudinal/panel data. It provides unbiased estimation of the parametric component of the model, with associated confidence intervals that have near-nominal coverage rates. Simulations demonstrate (1) efficiency, (2) that parametric estimates are unbiased, and (3) coverage properties of estimated intervals. An application section demonstrates the method by predicting county-level corn yield using daily weather data from the period 1981-2015, along with parametric time trends representing technological change. The method is shown to out-perform linear methods such as OLS and ridge/lasso, as well as random forest. The procedures described in this paper are implemented in the R package panelNNET.

研究动机与目标

• 开发一种半参数面板数据估计器，结合神经网络处理非参数分量，同时实现参数系数的无偏估计。
• 解决现有机器学习方法在处理具有固定效应和非线性的纵向数据时的局限性。
• 在具有重复横截面单位和高维协变量的场景下，实现准确的预测与处理效应估计。
• 为非线性面板模型中的参数分量提供接近名义水平的置信区间覆盖。
• 通过气象和土壤数据的实际应用，展示该方法在真实世界产量预测中的优越性。

提出的方法

• 该模型使用前馈神经网络估计方程 𝑦𝑖𝑡 = 𝛼𝑖 + 𝑋𝑖𝑡𝛽 + f(𝑍𝑖𝑡) + 𝜀𝑖𝑡 中的非参数函数 f(𝑍𝑖𝑡)。
• 神经网络架构包含多层，采用ReLU激活函数，通过学习到的权重将输入变量 𝑍𝑖𝑡 映射为派生的非线性特征。
• 应用组内变换以消除个体固定效应 𝛼𝑖，从而在 f() 存在非线性的情况下仍能保持对 𝛽 的无偏估计。
• 该方法采用小批量梯度下降配合RMSprop优化算法，并应用权重衰减正则化以防止过拟合。
• 该模型在 R 包 panelNNET 中实现，可估计接近名义水平的置信区间。
• 时间趋势、土壤属性和地理坐标等变量被纳入线性分量，以确保模型的可解释性与外推能力。

实验结果

研究问题

• RQ1 基于神经网络的估计器是否能在具有非线性固定效应的面板数据模型中提供参数系数的无偏估计？
• RQ2 该模型中参数系数的置信区间是否能达到接近名义水平的覆盖率？
• RQ3 该半参数神经网络模型在预测县级玉米产量方面，相较于OLS、LASSO和随机森林的表现如何？
• RQ4 该模型能否在保持训练期外推能力的同时，有效处理高维气象与土壤数据？
• RQ5 该模型在考虑未观测到的县级特定效应的前提下，能够在多大程度上捕捉日度气象与玉米产量之间的复杂非线性关系？

主要发现

• 该面板神经网络模型在预测2015年玉米产量时，均方误差（MSE）为273，显著低于随机森林（MSE = 1197）和LASSO（MSE = 609）。
• 该模型的预测结果近似无偏，仅在伊利诺伊州北部中部地区观察到轻微的低估。
• 随机森林在2015年预测中表现出显著偏差，因其无法超越训练期进行外推，行为类似于最近邻算法。
• LASSO表现出轻微的向上偏差，可能由于过度依赖线性时间趋势，且未能捕捉非线性的天气效应。
• 时间趋势的参数估计无偏，置信区间具有接近名义水平的覆盖度，验证了该方法的推断性能。
• 该模型有效整合了时间不变的土壤和地理位置数据，这些变量在传统线性模型中与固定效应共线，但在非线性框架中具有显著贡献。