[论文解读] Reducing Estimation Uncertainty Using Normalizing Flows and Stratification

Paweł Lorek, Rafał Topolnicki+4 more|arXiv (Cornell University)|Feb 11, 2026

Gaussian Processes and Bayesian Inference被引用 0

一句话总结

该论文提出一种基于流的模型结合分层采样，在X未知时估计 E[f(X)]，超越粗糙蒙特卡洛与高斯混合在估计不确定性方面，且适用于高维情形。

ABSTRACT

Estimating the expectation of a real-valued function of a random variable from sample data is a critical aspect of statistical analysis, with far-reaching implications in various applications. Current methodologies typically assume (semi-)parametric distributions such as Gaussian or mixed Gaussian, leading to significant estimation uncertainty if these assumptions do not hold. We propose a flow-based model, integrated with stratified sampling, that leverages a parametrized neural network to offer greater flexibility in modeling unknown data distributions, thereby mitigating this limitation. Our model shows a marked reduction in estimation uncertainty across multiple datasets, including high-dimensional (30 and 128) ones, outperforming crude Monte Carlo estimators and Gaussian mixture models. Reproducible code is available at https://github.com/rnoxy/flowstrat.

研究动机与目标

• 在仅有样本且X的分布未知时，激励对 E[f(X)] 的准确估计。
• 引入基于流的模型来灵活近似X的分布，避免强参数假设。
• 将正规化流与分层采样结合以降低估计量的方差。
• 在合成数据和真实数据上展示相对于粗糙蒙特卡洛与高斯混合的改进，且适用于高维设置。

提出的方法

• 通过最大化负对数似然来训练正则化流（CNF/FFJORD），以近似从观测样本得到的 p(x) 。
• 从流的潜在高斯基分布采样，在潜在空间进行直角或球面对分层化，再将样本映射回数据空间以进行函数评估。
• 在分层中采用比例化或最优分层分配，并进行先导运行以估计分层方差以实现最优分割。
• 通过分层估计量估计 I = E[f(X)]，并用标准误传播不确定性；给出置信区间。
• 应用高维分层策略（Mrad、MHigh3、MRand3）以缓解分层的组合爆炸。
• 一次性训练流模型以估计多个量 Ik = E[fk(X)]。

实验结果

研究问题

• RQ1 基于流的模型是否能够从有限样本中准确捕捉未知X的分布，从而实现有效的分层采样？
• RQ2 训练好的潜在空间分层是否能降低相对于粗糙蒙特卡洛与高斯混合的估计方差？
• RQ3 直角与球面分层在低维与高维下的表现如何？
• RQ4 在实际应用中，最优分配与等比分配对估计量方差的影响为何？
• RQ5 该方法在高维场景（如30维与128维）及真实数据中的扩展性如何？

主要发现

• 基于流的分层估计量在合成数据与真实数据集上始终实现比粗糙蒙特卡洛和基于数据的估计更小的估计方差。
• 分层采样中的最优分配比等比分配更能降低方差，且在多数测试方法中通常提供最佳精度。
• 高维分层策略（基于半径的径向分层与角度分层）使在30D与128D问题中的实际应用成为可能。
• 较小的训练样本量（数百个）就足以训练流模型并获得准确的 I 的估计，有时 n=500 即可。
• 在真实风数据上，16层球面分层配合最优分配在评估函数上表现出最小标准差，显示出实际应用的收益。