[论文解读] Understanding Impacts of High-Order Loss Approximations and Features in Deep Learning Interpretation

Sahil Singla, Eric Wallace+2 more|arXiv (Cornell University)|Feb 1, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用 16

一句话总结

本文研究了深度学习解释中高阶损失近似和特征分组的影响。证明了在高置信度 ImageNet 分类中，由于秩一近似，Hessian 项的影响可忽略不计；而通过 L0-L1 松弛实现的组特征正则化显著提升了显著性图的质量与可解释性。

ABSTRACT

Current methods to interpret deep learning models by generating saliency maps generally rely on two key assumptions. First, they use first-order approximations of the loss function neglecting higher-order terms such as the loss curvatures. Second, they evaluate each feature's importance in isolation, ignoring their inter-dependencies. In this work, we study the effect of relaxing these two assumptions. First, by characterizing a closed-form formula for the Hessian matrix of a deep ReLU network, we prove that, for a classification problem with a large number of classes, if an input has a high confidence classification score, the inclusion of the Hessian term has small impacts in the final solution. We prove this result by showing that in this case the Hessian matrix is approximately of rank one and its leading eigenvector is almost parallel to the gradient of the loss function. Our empirical experiments on ImageNet samples are consistent with our theory. This result can have implications in other related problems such as adversarial examples as well. Second, we compute the importance of group-features in deep learning interpretation by introducing a sparsity regularization term. We use the $L_0-L_1$ relaxation technique along with the proximal gradient descent to have an efficient computation of group feature importance scores. Our empirical results indicate that considering group features can improve deep learning interpretation significantly.

研究动机与目标

• 检查在深度学习解释方法中忽略高阶损失项（如 Hessian 曲率）的影响。
• 研究在不考虑特征相互依赖性的情况下，孤立评估特征重要性的局限性。
• 开发一种通过稀疏正则化整合组特征重要性的方法，以提升可解释性。
• 从理论和实证上验证 Hessian 贡献在高置信度分类场景中可忽略不计。
• 证明组特征分析可提升深度神经网络中显著性图的准确性和鲁棒性。

提出的方法

• 推导出在多分类设置下，深度 ReLU 网络 Hessian 矩阵的闭式表达式。
• 证明对于具有大量类别的高置信度预测，Hessian 矩阵近似为秩一，且其主特征向量几乎与损失梯度平行。
• 采用 L0-L1 松弛技术建模组特征重要性，通过邻近梯度下降实现高效计算。
• 引入稀疏正则化项，鼓励选择有意义的特征组而非单个特征。
• 通过 ImageNet 上的实证评估，验证关于 Hessian 影响和组特征有效性的理论主张。
• 结合理论分析与实证验证，评估曲率与特征分组对显著性图的影响。

实验结果

研究问题

• RQ1 在高置信度多分类场景中，Hessian 矩阵对显著性图的贡献有多大？
• RQ2 忽略特征相互依赖性在多大程度上会降低深度学习解释的质量？
• RQ3 通过稀疏正则化整合组特征重要性，能否提升显著性图的准确性和鲁棒性？
• RQ4 Hessian 矩阵与梯度在高置信度深度学习预测中的理论关系是什么？
• RQ5 基于 Hessian 的修正如何影响对抗样本的鲁棒性与模型解释？

主要发现

• 对于大规模多分类问题中具有高置信度预测的深度 ReLU 网络，Hessian 矩阵近似为秩一，其主特征向量几乎与损失梯度平行，意味着曲率项对显著性图的影响可忽略不计。
• ImageNet 上的实证结果证实，当置信度分数较高时，包含 Hessian 项对最终显著性图的影响可忽略不计。
• 所提出的 L0-L1 松弛结合邻近梯度下降方法，可高效计算组特征重要性得分。
• 通过正则化引入组特征，相比单独分析单个特征，显著提升了解释质量。
• 理论与实证发现表明，在高置信度设置下，高阶损失近似可安全忽略，从而简化解释方法。
• 研究结果对对抗样本鲁棒性具有启示意义，因为梯度与 Hessian 方向的一致性可能影响扰动敏感性。