[论文解读] Reduction of detection limit and quantification uncertainty due to interferent by neural classification with abstention

Alex Hagen‐Zanker, Ken Jarman+6 more|arXiv (Cornell University)|Apr 22, 2022

Nuclear Physics and Applications参考文献 19被引用 1

一句话总结

本文提出一种带有拒绝机制的神经分类方法，以降低物理计数实验中干扰背景事件带来的检测限和定量不确定性。通过根据分类器置信度动态设定最优决策阈值，该方法在信号与背景比（SBR）较低时，实现的不确定性比以准确率优化的模型降低多达3倍。

ABSTRACT

Many measurements in the physical sciences can be cast as counting experiments, where the number of occurrences of a physical phenomenon informs the prevalence of the phenomenon's source. Often, detection of the physical phenomenon (termed signal) is difficult to distinguish from naturally occurring phenomena (termed background). In this case, the discrimination of signal events from background can be performed using classifiers, and they may range from simple, threshold-based classifiers to sophisticated neural networks. These classifiers are often trained and validated to obtain optimal accuracy, however we show that the optimal accuracy classifier does not generally coincide with a classifier that provides the lowest detection limit, nor the lowest quantification uncertainty. We present a derivation of the detection limit and quantification uncertainty in the classifier-based counting experiment case. We also present a novel abstention mechanism to minimize the detection limit or quantification uncertainty \emph{a posteriori}. We illustrate the method on two data sets from the physical sciences, discriminating Ar-37 and Ar-39 radioactive decay from non-radioactive events in a gas proportional counter, and discriminating neutrons from photons in an inorganic scintillator and report results therefrom.

研究动机与目标

• 解决以准确率优化的分类器在最小化检测限和定量不确定性方面的局限性。
• 证明最大准确率并不在计量关键指标上实现最优性能。
• 开发并验证一种新型拒绝机制，以提升检测与定量性能。
• 展示该方法在具有低信号与背景比的多样化物理科学数据集中的有效性。

提出的方法

• 提出一种基于分类器置信度评分的阈值优化策略，以最小化检测限或定量不确定性。
• 引入一种拒绝机制，将低置信度事件从分类中排除，以提升整体性能。
• 使用单纯形优化方法，确定在不同分析物与干扰物比值下实现最小不确定性的最优阈值。
• 将该方法应用于两个真实世界数据集：气体正比计数器中的Ar-37/Ar-39区分，以及闪烁体中的中子-光子区分。
• 采用连续分类器输出（如神经网络）以实现基于置信度的决策。
• 通过真实活度估计和不确定度区间验证性能，将最优阈值与最大准确率阈值进行比较。

实验结果

研究问题

• RQ1 以最大准确率优化的分类器是否能最小化存在背景干扰的计数实验中的检测限和定量不确定性？
• RQ2 对低置信度事件实施拒绝是否能改善检测限和测量不确定性？
• RQ3 在不同信号与背景比下，最优阈值分类的性能与准确率优化分类相比如何？
• RQ4 该拒绝方法能否在不同分类器和物理测量系统中实现泛化？
• RQ5 在低SBR场景下，阈值优化对不确定度降低的定量影响是什么？

主要发现

• 最小化定量不确定性的最优阈值与最大化准确率的阈值并不一致。
• 在分析物与干扰物比值较低时，最优不确定度可比最大准确率阈值实现的不确定度小多达3倍。
• 即使估计的活度无偏，最大准确率分类的不确定度区间在两倍标准差范围内仍可能包含零，表明无法有效检测低水平信号。
• 拒绝机制能有效将相空间中模糊的事件分离出来，尤其在信号与背景区域重叠时。
• 该方法在所有测试的信号与背景比下均降低了不确定度，并在低SBR区域实现了显著改进。
• 该方法具有通用性，在不同分类器和物理测量系统（包括气体正比计数器和无机闪烁体）中均表现有效。