[论文解读] Scaffolding Simulations with Deep Learning for High-dimensional Deconvolution

Anders Andreassen, Patrick Komiske+4 more|arXiv (Cornell University)|May 10, 2021

Gaussian Processes and Bayesian Inference参考文献 16被引用 20

一句话总结

OmniFold 是一种基于深度学习的无箱去卷积方法，通过二分类器进行似然比估计，从实验数据中去除高维探测器畸变。它将 Richardson-Lucy 算法扩展至无需分箱即可处理噪声、接受度和效率效应，从而在科学模拟中实现高维真实分布的精确重建，以最少迭代次数达到最先进的精度与收敛性。

ABSTRACT

A common setting for scientific inference is the ability to sample from a high-fidelity forward model (simulation) without having an explicit probability density of the data. We propose a simulation-based maximum likelihood deconvolution approach in this setting called OmniFold. Deep learning enables this approach to be naturally unbinned and (variable-, and) high-dimensional. In contrast to model parameter estimation, the goal of deconvolution is to remove detector distortions in order to enable a variety of down-stream inference tasks. Our approach is the deep learning generalization of the common Richardson-Lucy approach that is also called Iterative Bayesian Unfolding in particle physics. We show how OmniFold can not only remove detector distortions, but it can also account for noise processes and acceptance effects.

研究动机与目标

• 解决传统分箱去卷积方法（如 Richardson-Lucy）的局限性，后者需要固定分箱，且在高维或变维数据上表现困难。
• 开发一种基于模拟的极大似然去卷积框架，直接在无箱、高维数据上使用深度学习进行处理。
• 将真实的实验效应（如噪声过程、探测器接受度和效率阈值）整合到去卷积过程中。
• 在不依赖响应函数解析模型的前提下，实现从探测器级数据对真实分布的精确重建。
• 提供一种可扩展、可微分且具有统计合理性的方法，用于高能物理及其他数据密集型领域的科学推断。

提出的方法

• OmniFold 使用通过深度神经网络进行迭代似然比估计，以近似探测器响应的逆，用端到端学习替代传统的矩阵求逆。
• 它将去卷积建模为一系列二分类任务：区分真实样本与数据级样本，其中类别条件密度通过神经网络估计。
• 该方法采用加权分类器来估计似然比 $ p_{S|G} / p_{S|G}^{ ext{prior}} $，该比值驱动迭代去卷积过程。
• 通过训练分类器以区分信号与背景来处理噪声，并通过虚拟值 ($\emptyset$) 和加权训练样本处理接受度与效率问题。
• 该算法采用两步迭代过程：第 I 步从数据和模拟中估计真实分布，第 II 步利用似然比优化信号重建。
• 该框架使用全连接神经网络，激活函数为 ReLU，输出为 Sigmoid，通过 Adam 优化并结合早停策略进行训练。

实验结果

研究问题

• RQ1 深度学习能否在缺乏解析响应模型的情况下实现无箱、高维去卷积？
• RQ2 引入辅助特征（如噪声、接受度、效率）如何影响去卷积的准确性和收敛性？
• RQ3 基于似然比估计的可微分、迭代框架是否能在高维设置下超越传统分箱方法（如 Richardson-Lucy）？
• RQ4 该方法在处理复杂探测器效应（如非均匀接受度和效率阈值）方面的能力如何？
• RQ5 使用神经网络进行似然比估计是否能保持统计一致性与极大似然性质？

主要发现

• 在单变量高斯示例中，OmniFold 仅需三轮迭代即可接近收敛，且在多次运行中结果稳定一致。
• 在五维高斯测试案例中，使用所有可用特征 ($X_D, X_S, Z_0, ..., Z_4$) 后，平均绝对偏差降低至 $3.1 \times 10^{-2}$，标准差为 $3.1 \times 10^{-2}$，接近真实值 30.00。
• 即使特征数量增加，该方法仍保持高精度，表现出对高维输入空间的强鲁棒性。
• 引入如噪声分量 ($Z_i$) 等辅助变量可显著提升精度，平均值的标准差从 8.4(5) 降低至 3.1(2)。
• 该算法成功重建了真实分布，偏差极小，所有场景下展开分布的均值均在真实值的 $2\sigma$ 范围内。
• 该框架可扩展至复杂数据类型，如排列不变、变长输入，如先前在对撞机物理中使用深度集合（deep sets）所展示的。