[论文解读] Streaming Weak Submodularity: Interpreting Neural Networks on the Fly

Ethan R. Elenberg, Alexandros G. Dimakis+2 more|arXiv (Cornell University)|Mar 8, 2017

Adversarial Robustness in Machine Learning参考文献 1被引用 14

一句话总结

该论文提出 Streak，一种用于在基数约束下最大化弱子模函数的流式算法，实现了深度神经网络的快速且可扩展的解释。在随机流顺序下，该算法实现了常数因子近似保证，运行速度比 LIME 快 10 倍，同时对 Inception V3 预测生成了相当的解释结果。

ABSTRACT

In many machine learning applications, it is important to explain the predictions of a black-box classifier. For example, why does a deep neural network assign an image to a particular class? We cast interpretability of black-box classifiers as a combinatorial maximization problem and propose an efficient streaming algorithm to solve it subject to cardinality constraints. By extending ideas from Badanidiyuru et al. [2014], we provide a constant factor approximation guarantee for our algorithm in the case of random stream order and a weakly submodular objective function. This is the first such theoretical guarantee for this general class of functions, and we also show that no such algorithm exists for a worst case stream order. Our algorithm obtains similar explanations of Inception V3 predictions $10$ times faster than the state-of-the-art LIME framework of Ribeiro et al. [2016].

研究动机与目标

• 为在实时应用中高效解释黑箱神经网络预测提供解决方案。
• 开发一种流式算法，为弱子模目标提供理论近似保证，该目标是子模函数的推广。
• 在无需对模型进行完整重新评估的情况下，实现快速、可扩展且准确的特征归因。
• 克服现有方法（如 LIME）的局限性，后者因在大规模数据集上重复进行模型推理而速度较慢。

提出的方法

• 通过引入贪心阈值法和二分查找，扩展了 Sieve-Streaming 算法，以处理弱子模目标。
• 使用一组并行的、经修改的贪心算法实例，每个实例采用不同的阈值，以保持多样性与鲁棒性。
• 提出一种新颖的分析框架，证明在随机流顺序下，对 γ-弱子模函数可实现常数因子近似比。
• 引入一种内存高效的架构，保持 O(ε⁻¹k log k) 的空间复杂度，同时动态调整阈值。
• 通过将特征选择建模为集合函数最大化问题，将该算法应用于神经网络解释。
• 设计一种新型目标函数，受 LIME 启发但专为流式评估优化，从而降低推理成本。

实验结果

研究问题

• RQ1 能否将子模最大化流式算法扩展至具有理论保证的弱子模函数？
• RQ2 尽管存在最坏情况下的不可能性，是否可能在随机流顺序下，对弱子模目标实现常数因子近似？
• RQ3 流式算法能否在保持对深度神经网络解释质量相近的前提下，实现比 LIME 更快的速度？
• RQ4 该算法的性能如何随弱子模性参数 γ 和基数约束 k 的变化而变化？

主要发现

• 在随机流顺序下，Streak 实现了理论近似比 (1−ε)·γ/2·(3−e⁻ᵞ/²−2√(2−e⁻ᵞ/²))，这是首个针对弱子模函数的此类保证。
• 该算法运行速度约为 LIME 的 10 倍，同时在 Inception V3 上生成的解释质量相当。
• 一个不可能性结果表明，任何使用 o(N) 内存的随机流式算法，即使对于 0.5-弱子模函数，也无法在最坏流顺序下实现常数近似。
• Streak 不需要预先知道弱子模性参数 γ，使其适用于实时应用场景。
• 实验评估表明，Streak 能生成准确且可解释的特征归因，尤其在识别与类别相关的图像区域方面表现优异。
• 当集成到 LIME 中时，Streak 在不损失解释质量的前提下显著提升了特征选择速度，证明了其通用性。