[论文解读] Opening the black box of neural nets: case studies in stop/top discrimination

Thomas Roxlo, Matthew Reece|arXiv (Cornell University)|Apr 24, 2018

Computational Physics and Python Applications参考文献 94被引用 29

一句话总结

本文提出一种方法，通过生成能最大程度激活特定神经元的人工事件，来解释高能物理中的深度神经网络，从而实现决策边界的可视化并提取可读的规则。该方法应用于停止夸克/顶夸克区分任务时，揭示了网络不仅学习到已知的物理变量（如 mT2），还发现了新颖的角关联，尤其在轻量级停止夸克或隐蔽信号等复杂场景中表现显著。

ABSTRACT

We introduce techniques for exploring the functionality of a neural network and extracting simple, human-readable approximations to its performance. By performing gradient ascent on the input space of the network, we are able to produce large populations of artificial events which strongly excite a given classifier. By studying the populations of these events, we then directly produce what are essentially contour maps of the network's classification function. Combined with a suite of tools for identifying the input dimensions deemed most important by the network, we can utilize these maps to efficiently interpret the dominant criteria by which the network makes its classification. As a test case, we study networks trained to discriminate supersymmetric stop production in the dilepton channel from Standard Model backgrounds. In the case of a heavy stop decaying to a light neutralino, we find individual neurons with large mutual information with $m_{T2}^{\ell\ell}$, a human-designed variable for optimizing the analysis. The network selects events with significant missing $p_T$ oriented azimuthally away from both leptons, efficiently rejecting $t\overline{t}$ background. In the case of a light stop with three-body decays to $Wb{\widetilde χ}$ and little phase space, we find neurons that smoothly interpolate between a similar top-rejection strategy and an ISR-tagging strategy allowing for more missing momentum. We also find that a neural network trained on a stealth stop parameter point learns novel angular correlations.

研究动机与目标

• 为解决高能物理中深度神经网络（DNN）的可解释性挑战，尽管其性能优异，但模型仍被视为'黑箱'。
• 开发一种系统性方法，从训练好的DNN中提取人类可读、物理可解释的决策规则，而无需依赖预定义的物理变量。
• 将DNN用于区分超对称停止夸克信号与标准模型背景的策略，与传统基于物理的变量和方法进行比较。
• 探究DNN在复杂事件拓扑中是否发现新颖的非平凡关联，或仅复现已知的物理技术。
• 通过停止衰变的案例研究（包括不同末态和质量谱），验证可解释性方法，涵盖具有挑战性的'隐蔽'场景。

提出的方法

• 在输入空间中执行梯度上升，生成大量能强烈激活训练好的DNN中单个神经元的人工事件。
• 从这些激活最大化事件中构建输入变量的多维直方图，以可视化使每个神经元兴奋的输入空间区域。
• 应用改进的DBSCAN算法，识别直方图中的聚类（或称'岛屿'），区分内部聚类与边界聚类，后者指示极端输入值。
• 使用多项式函数（内部聚类为二次函数，边界聚类为含交叉项的线性函数）建模每个识别出的聚类，并通过Sigmoid激活函数生成二值指示变量。
• 通过L1正则化的梯度下降，将聚模型组合为线性叠加，生成紧凑、可解释的'穴居人变量'，以近似神经元的激活。
• 利用这些穴居人变量，可直接将网络的决策逻辑与已知物理变量进行比较，并评估其判别能力。

实验结果

研究问题

• RQ1 我们能否从训练用于区分停止夸克信号与SM背景的DNN中提取出人类可读、可解释的决策规则？
• RQ2 DNN是否学习到已知的物理变量（如 mT2^ℓℓ），还是发现了更有效的新型判别器？
• RQ3 DNN如何处理具有挑战性的停止夸克场景——如三体衰变的轻量级停止夸克，或无可见衰变产物的隐蔽停止夸克？
• RQ4 在缺乏强相空间抑制或明显拓扑结构的情况下，DNN学习到了哪些类型的角动量关联？
• RQ5 网络学习到的特征在多大程度上与传统、基于物理的分析策略一致或偏离？

主要发现

• 在重质量停止夸克情况下，网络优先选择缺失横向动量（pT）方向远离两个轻子的事件，与 mT2^ℓℓ 变量高度一致。
• 对于具有三体衰变且相空间受限的轻量级停止夸克，网络在顶夸克拒止策略与ISR标记策略之间实现平滑插值，增强对缺失动量的敏感性。
• 在隐蔽停止夸克场景中，网络发现了新颖的、非平凡的两个轻子与缺失动量之间的角关联，这些关联未被标准变量捕捉。
• 该方法成功生成了保有显著判别能力的'穴居人变量'——验证测试中与原始神经元激活高度一致。
• 发现神经元与 mT2^ℓℓ 具有高互信息，证实网络以数据驱动方式学习到了已知且有效的物理变量。
• 激活最大化技术揭示，网络的决策边界由复杂的多变量关联塑造，而非对单一可观测量的简单阈值判断。