[论文解读] Significance Tests for Neural Networks

Enguerrand Horel, Kay Giesecke|arXiv (Cornell University)|Feb 16, 2019

Neural Networks and Applications被引用 9

一句话总结

本文提出了一种计算高效的基于梯度的显著性检验方法，用于单层前馈神经网络中的特征变量，其检验统计量基于偏导数推导，渐近服从卡方分布的混合分布。该方法可在不重新拟合网络的情况下实现全局、模型无关的特征重要性推断，支持变量排序与非线性交互作用检验。

ABSTRACT

We develop a pivotal test to assess the statistical significance of the feature variables in a single-layer feedforward neural network regression model. We propose a gradient-based test statistic and study its asymptotics using nonparametric techniques. Under technical conditions, the limiting distribution is given by a mixture of chi-square distributions. The tests enable one to discern the impact of individual variables on the prediction of a neural network. The test statistic can be used to rank variables according to their influence. Simulation results illustrate the computational efficiency and the performance of the test. An empirical application to house price valuation highlights the behavior of the test using actual data.

研究动机与目标

• 开发一种在神经网络回归模型中对单个特征显著性进行统计严格评估的方法。
• 解决黑箱神经网络在金融和医疗等需要可解释人工智能领域中的可解释性挑战。
• 在不重新拟合模型或假设可识别性的情况下，实现对特征影响的全局而非局部推断。
• 为非线性、非参数模型提供一种计算高效的传统显著性检验替代方法。
• 通过网络输出的导数，将显著性检验扩展至高阶效应和交互作用。

提出的方法

• 检验统计量是每个输入特征的神经网络估计器偏导数平方的加权平均，权重由数据驱动的度量确定。
• 在样本量随网络宽度增加的条件下，利用非参数筛法估计和经验过程理论推导检验统计量的渐近分布。
• 应用二阶函数δ方法，推导检验统计量的极限分布为高斯过程最大化值的偏导数平方的加权平均。
• 在较弱的正则性条件下，证明极限分布为卡方分布的混合分布。
• 检验统计量可直接从标准反向传播过程中产生的梯度计算得出，无需重新训练。
• 对高阶导数的扩展使得能够检验如变量交互作用等非线性效应。

实验结果

研究问题

• RQ1 能否为单层前馈神经网络中的单个特征开发一种既计算高效又统计有效的显著性检验？
• RQ2 在非参数神经网络模型中，基于梯度的特征显著性检验统计量的渐近分布是什么？
• RQ3 如何利用该检验对特征按其对预测的影响程度进行排序，而无需重新拟合模型？
• RQ4 该检验能否扩展以评估特征之间非线性交互作用的显著性？
• RQ5 该检验在有限样本中的表现如何？在真实世界数据上其行为特征如何？

主要发现

• 检验统计量的渐近分布为卡方分布的混合分布，在较弱正则性条件下可有效计算p值。
• 检验统计量计算高效，因其利用了训练过程中已计算的梯度，无需额外模型拟合。
• 该方法对神经网络的不可识别性具有鲁棒性，因其关注函数层面的影响而非参数层面的解释。
• 该检验支持模型无关推断：在大样本下，由于通用逼近性质，其检验基于真实潜在回归函数的显著性。
• 模拟结果证实了该检验在有限样本中的计算效率和正确尺寸，统计功效随样本量和信号强度增加而提高。
• 在对美国房价估值的真实应用中，该检验成功按统计显著性对抵押贷款利率和区域贷款指标等特征进行了排序，结果与经济直觉一致。