[论文解读] Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach

Luofeng Liao, You-Lin Chen+4 more|arXiv (Cornell University)|Jul 2, 2020

Model Reduction and Neural Networks参考文献 52被引用 4

一句话总结

该论文提出了一种新颖的对抗性神经网络框架，通过将线性算子方程的解表述为两个神经网络之间的极小极大博弈，实现了结构方程模型（SEMs）的可证明高效估计。在过参数化设置下，利用随机梯度下降（SGD）实现了全局收敛，首次实现了无需样本分割、具有理论保证的一致性和收敛速率的可证明收敛神经网络估计。

ABSTRACT

Structural equation models (SEMs) are widely used in sciences, ranging from economics to psychology, to uncover causal relationships underlying a complex system under consideration and estimate structural parameters of interest. We study estimation in a class of generalized SEMs where the object of interest is defined as the solution to a linear operator equation. We formulate the linear operator equation as a min-max game, where both players are parameterized by neural networks (NNs), and learn the parameters of these neural networks using the stochastic gradient descent. We consider both 2-layer and multi-layer NNs with ReLU activation functions and prove global convergence in an overparametrized regime, where the number of neurons is diverging. The results are established using techniques from online learning and local linearization of NNs, and improve in several aspects the current state-of-the-art. For the first time we provide a tractable estimation procedure for SEMs based on NNs with provable convergence and without the need for sample splitting.

研究动机与目标

• 开发一种基于神经网络的广义结构方程模型（SEMs）估计方法，避免样本分割并确保收敛性。
• 解决现有神经网络方法在SEMs估计中缺乏理论收敛保证的问题。
• 利用深度学习提供一种可处理、表达能力强且可证明高效的SEMs估计过程。
• 统一并拓展因果推断与计量经济学中的应用，包括非参数工具变量回归和动态面板模型。
• 在过参数化设置下，建立两层和深层ReLU神经网络的理论收敛速率。

提出的方法

• 将SEMs估计问题表述为极小极大博弈，其中原问题玩家学习结构函数，对偶问题玩家学习条件期望算子。
• 使用两个独立的ReLU激活函数神经网络（NNs）参数化双方玩家。
• 采用随机梯度下降（SGD）以端到端方式联合优化两个NN的参数。
• 应用在线学习和神经网络线性化技术，分析过参数化状态下的收敛性。
• 引入正则化的经验损失函数，通过Tikhonov型惩罚项平衡近似误差与泛化能力。
• 证明当对偶空间被限制在测试函数的有限维子空间时，极小极大公式与广义矩方法（GMM）等价。

实验结果

研究问题

• RQ1 我们能否设计一种基于神经网络的SEMs估计器，实现在无需样本分割情况下的全局收敛？
• RQ2 在过参数化状态下，SEMs的神经网络估计器的收敛速率如何？
• RQ3 所提出的对抗性公式与经典方法（如GMM或工具变量回归）有何关联？
• RQ4 对于解决SEMs中出现的线性算子方程，深层和两层ReLU网络可提供哪些理论保证？
• RQ5 在真实结构函数满足何种光滑性假设时，估计器是一致的？

主要发现

• 所提方法在过参数化状态下，对两层和深层ReLU神经网络均实现了全局收敛，其中神经元数量趋于无穷。
• 在未知结构函数满足适当光滑性假设的前提下，建立了估计器的收敛速率，明确依赖于网络宽度和迭代次数。
• 该方法首次实现了无需样本分割的、可证明收敛的SEMs神经网络估计，优于近期依赖样本分割以保证统计一致性的研究。
• 当对偶空间被限制在有限维函数空间时，极小极大公式被证明等价于加权GMM估计器。
• 理论分析利用神经网络线性化和在线学习技术，界定了优化误差并推广至真实解。
• 实证验证表明，该方法适用于关键计量经济学和因果推断模型，包括非参数工具变量回归、供需均衡模型以及动态面板数据模型。