[论文解读] Scalable Quasi-Bayesian Inference for Instrumental Variable Regression

Ziyu Wang, Yuhao Zhou+2 more|arXiv (Cornell University)|Jun 16, 2021

Gaussian Processes and Bayesian Inference被引用 3

一句话总结

本文提出了一种适用于工具变量回归的可扩展拟贝叶斯推断方法，避免了强模型假设，实现了计算成本与点估计相当的高效不确定性量化。该方法可扩展至神经网络，并通过理论保证和实际可扩展性展现出优异的实验性能。

ABSTRACT

Recent years have witnessed an upsurge of interest in employing flexible machine learning models for instrumental variable (IV) regression, but the development of uncertainty quantification methodology is still lacking. In this work we present a scalable quasi-Bayesian procedure for IV regression, building upon the recently developed kernelized IV models. Contrary to Bayesian modeling for IV, our approach does not require additional assumptions on the data generating process, and leads to a scalable approximate inference algorithm with time cost comparable to the corresponding point estimation methods. Our algorithm can be further extended to work with neural network models. We analyze the theoretical properties of the proposed quasi-posterior, and demonstrate through empirical evaluation the competitive performance of our method.

研究动机与目标

• 解决灵活机器学习模型在工具变量回归中缺乏不确定性量化方法的问题。
• 开发一种避免对数据生成过程施加强参数假设的可扩展推断程序。
• 在核化和基于神经网络的IV模型中实现计算高效的不确定性量化。
• 建立所提出的拟后验分布的理论性质。

提出的方法

• 该方法通过核化估计方程构建拟后验分布，避免了完整似然函数的指定。
• 利用核化最小距离估计量定义适合拟贝叶斯更新的拟似然函数。
• 推断算法设计为与数据规模呈线性关系，时间复杂度与点估计方法相当。
• 通过在估计方程中使用基于神经网络的条件均值函数，将该方法扩展至神经网络模型。
• 采用随机近似方案以实现可扩展计算，尤其适用于大规模数据集。
• 理论分析在温和正则性条件下建立了后验集中性和频派覆盖性质。

实验结果

研究问题

• RQ1 拟贝叶斯框架是否能在不施加强模型假设的前提下，为IV回归提供可靠的不确定性量化？
• RQ2 与现有的贝叶斯或频派方法相比，该方法在数据规模增大时的可扩展性如何？
• RQ3 该方法在IV设置下可多大程度上扩展至深度学习模型（如神经网络）？
• RQ4 所得到的拟后验分布在集中性和覆盖性方面的理论性质如何？
• RQ5 在有限样本下，该方法与现有点估计和贝叶斯推断方法相比，实证表现如何？

主要发现

• 所提方法的计算效率与点估计相当，可在大规模数据集上实现可扩展推断。
• 拟后验分布展现出良好的频派覆盖性质，验证了不确定性量化的有效性。
• 实证评估表明，该方法在估计精度和不确定性校准方面与现有方法相比表现具有竞争力。
• 该方法成功扩展至基于神经网络的IV模型，实现了复杂非参数设定下的不确定性量化。
• 理论分析证实了在温和正则性条件下后验集中性，支持了该方法的有效性。