[论文解读] NeuralSens: Sensitivity Analysis of Neural Networks

J. Pizarroso, Jorge Iglesias Aldo Portela+1 more|arXiv (Cornell University)|Feb 26, 2020

Neural Networks and Applications被引用 15

一句话总结

本文介绍了 R 包 NeuralSens，该工具通过偏导数方法实现对多层感知机（MLP）神经网络的敏感性分析，用于评估变量重要性和输入-输出关系。该方法在训练数据上计算输出对输入的梯度，结果表明随着模型容量的增加，敏感性度量具有稳健性和一致性。

ABSTRACT

Neural networks are important tools for data-intensive analysis and are commonly applied to model non-linear relationships between dependent and independent variables. However, neural networks are usually seen as "black boxes" that offer minimal information about how the input variables are used to predict the response in a fitted model. This article describes the \pkg{NeuralSens} package that can be used to perform sensitivity analysis of neural networks using the partial derivatives method. Functions in the package can be used to obtain the sensitivities of the output with respect to the input variables, evaluate variable importance based on sensitivity measures and characterize relationships between input and output variables. Methods to calculate sensitivities are provided for objects from common neural network packages in \proglang{R}, including \pkg{neuralnet}, \pkg{nnet}, \pkg{RSNNS}, \pkg{h2o}, \pkg{neural}, \pkg{forecast} and \pkg{caret}. The article presents an overview of the techniques for obtaining information from neural network models, a theoretical foundation of how are calculated the partial derivatives of the output with respect to the inputs of a multi-layer perceptron model, a description of the package structure and functions, and applied examples to compare \pkg{NeuralSens} functions with analogous functions from other available \proglang{R} packages.

研究动机与目标

• 开发一种方法，通过量化输入变量对模型输出的影响来解释黑箱神经网络。
• 通过敏感性分析解决理解神经网络中复杂非线性关系的挑战。
• 提供一个统一且易于使用的 R 包，支持在多种神经网络训练框架中进行敏感性分析。
• 将所提出的偏导数方法与 Garson 法和 Olden 法等成熟技术在准确性和可解释性方面进行比较。
• 在不同模型架构和训练条件下验证敏感性度量的稳健性。

提出的方法

• 核心方法使用反向传播算法，对每个训练样本计算神经网络输出对每个输入变量的偏导数。
• 将敏感性度量在数据集上聚合，包括均值、标准差和平方和（SensSQ），以评估变量重要性。
• 该包支持使用常见 R 神经网络包（如 caret、nnet）训练的模型，并为非支持模型提供通用的 'numeric' 方法。
• 生成敏感性图以可视化输入变量在不同取值范围内与模型输出的关系。
• 通过使用不同随机初始化训练多个模型并评估敏感性度量的方差来评估稳健性。
• 使用 'iris' 等基准数据集，将该方法与 Garson 法、Olden 法和 Lek 法等替代方法进行比较。

实验结果

研究问题

• RQ1 训练好的 MLP 模型中，偏导数在多大程度上能准确量化单个输入变量对模型输出的影响？
• RQ2 与 Garson 法和 Olden 法相比，偏导数方法的敏感性度量在量级和一致性方面表现如何？
• RQ3 模型容量（隐藏神经元数量）对敏感性度量的稳定性和可靠性有何影响？
• RQ4 该方法是否能有效可视化非线性输入-输出关系，而无需依赖人工扰动？
• RQ5 在不同随机初始化和变化的网络架构下，敏感性估计的稳健性如何？

主要发现

• NeuralSens 中的偏导数方法提供了稳定且可解释的变量重要性度量，当模型容量足够时，敏感性度量的方差可忽略不计。
• 在 'iris' 数据集中，Petal.Length 和 Petal.Width 的敏感性最高（virginica 类的 SensSQ = 0.3499），与已知的物种生物学差异一致。
• 在 50 个独立训练的、含 10 个隐藏神经元的模型中，该方法结果一致，证实了在权重初始化变化下的稳健性。
• NeuralSens 生成的敏感性图有效揭示了输入与输出之间的非线性关系，尤其在 virginica 类中表现明显。
• 与 Garson 法和 Olden 法相比，偏导数方法在回归和分类任务中提供了更细致、连续的输入影响洞察。
• 该包成功集成到现有的 R 神经网络工作流中，并在可解释性方面与 'lekprofile' 和 'partial' 等现有工具相比表现相当或更优。