[论文解读] Parametric inference with universal function approximators

Andreas Joseph|arXiv (Cornell University)|Jan 1, 2019

Statistical Methods and Inference参考文献 40被引用 5

一句话总结

本文提出了一种框架，通过利用Shapley-Taylor分解构建代理参数模型，使神经网络等通用函数逼近器能够实现参数化推断。该方法允许对复杂模型进行假设检验并加以解释，尤其适用于估计异质性处理效应，同时通过高阶Shapley-Taylor指数保持可解释性和泛化能力。

ABSTRACT

Universal function approximators, such as artificial neural networks, can learn a large variety of target functions arbitrarily well given sufficient training data. This flexibility comes at the cost of the ability to perform parametric inference. We address this gap by proposing a generic framework based on the Shapley-Taylor decomposition of a model. A surrogate parametric regression analysis is performed in the space spanned by the Shapley value expansion of a model. This allows for the testing of standard hypotheses of interest. At the same time, the proposed approach provides novel insights into statistical learning processes themselves derived from the consistency and bias properties of the nonparametric estimators. We apply the framework to the estimation of heterogeneous treatment effects in simulated and real-world randomised experiments. We introduce an explicit treatment function based on higher-order Shapley-Taylor indices. This can be used to identify potentially complex treatment channels and help the generalisation of findings from experimental settings. More generally, the presented approach allows for a standardised use and communication of results from machine learning models.

研究动机与目标

• 弥合灵活的通用函数逼近器与参数统计推断之间的差距。
• 在不牺牲模型灵活性的前提下，使机器学习模型能够进行标准假设检验。
• 使用一致且有偏的非参数估计器，为统计学习过程提供可解释的洞察。
• 通过高阶Shapley-Taylor指数，开发一种识别随机实验中复杂处理路径的方法。
• 标准化黑箱机器学习模型结果的沟通与使用。

提出的方法

• 该框架利用Shapley-Taylor分解，将模型的预测函数在输入空间中展开为多项式形式。
• 在Shapley值展开的基础上拟合一个代理参数回归模型，以支持标准推断程序。
• 显式建模高阶Shapley-Taylor指数，以捕捉复杂且非线性的处理交互作用。
• 利用非参数估计器的一致性和偏差特性，确保推断的可靠性。
• 将该方法应用于模拟和现实世界的随机实验，以估计异质性处理效应。
• 在代理参数模型上执行假设检验，从而获得p值和置信区间。

实验结果

研究问题

• RQ1 尽管具有非参数性质，通用函数逼近器是否仍可用于有效的参数化推断？
• RQ2 如何利用Shapley-Taylor指数对实验数据中的复杂处理路径进行建模与解释？
• RQ3 高阶交互效应对机器学习模型中处理效应估计的影响是什么？
• RQ4 所提出的框架能否提高随机实验发现向更广泛人群的泛化能力？
• RQ5 基于Shapley值的代理参数模型与标准参数模型相比，在可解释性和推断有效性方面表现如何？

主要发现

• 该框架通过基于Shapley-Taylor分解的代理建模，成功实现了对复杂非参数模型的标准参数化推断。
• 高阶Shapley-Taylor指数揭示了在标准模型中隐藏的非线性和复杂处理路径。
• 该方法在模拟和现实世界的随机实验中，均能提供一致且可解释的异质性处理效应估计。
• 代理参数模型使得基于通用函数逼近器推导出的模型组件能够进行假设检验，包括p值和置信区间。
• 该方法通过识别并建模治疗反应中的复杂交互效应，增强了实验发现的泛化能力。
• 该框架支持对机器学习模型结果的标准化沟通，提升了透明度和可复现性。