[论文解读] Wave function representation of probability distributions

Madeleine B. Thompson|arXiv (Cornell University)|Dec 21, 2017

Probabilistic and Robust Engineering Design参考文献 10被引用 3

一句话总结

本文提出了一种使用正交厄米特基展开来表示概率分布的波函数形式，通过建模密度的平方根，实现了对连续单变量分布的灵活、低维且抗过拟合的建模。该方法通过立体投影实现系数的高效最大似然估计，支持精确的矩计算，并在尾部分布行为和免调参拟合方面优于核密度估计。

ABSTRACT

Orthogonal decomposition of the square root of a probability density function in the Hermite basis is a useful low-dimensional parameterization of continuous probability distributions over the reals. This representation is formally similar to the representation of quantum mechanical states as wave functions, whose squared modulus is a probability density.

研究动机与目标

• 开发一种用于数据分析系统中的连续单变量概率分布的低维、灵活且鲁棒的参数化方法。
• 解决缺乏一种通用、自然且计算高效的分布族的问题，该族分布可无需调参地建模偏态、多峰和重尾数据。
• 在生产数据分析平台（EDP）中实现回归残差的精确建模，且自定义需求最小化。
• 提供一种支持精确矩计算和高效采样的参数化方法，避免核密度估计的缺点。
• 探索将此表示方法扩展至条件模型及其他领域，使用不同正交基的可能性。

提出的方法

• 将概率密度函数的平方根表示为正交厄米特函数的线性组合，从而实现类似波函数的参数化形式。
• 通过立体投影实现系数 $ w_k $ 的最大似然估计（MLE），将单位球面约束转换为无约束空间以进行优化。
• 使用 L-BFGS 优化算法从独立同分布样本中拟合系数，对数似然以 $ \gamma $ 的反立体投影形式表达。
• 利用密度估计的多项式-指数形式，通过高斯-厄米特求积在 $ O(K) $ 次操作内精确计算矩。
• 使用单变量截面采样器从估计密度中采样，计划改用自适应拒绝梅特罗波利斯采样（ARMS）以提高效率。
• 将输入数据标准化为均值为零、方差为 1/2，以稳定表示形式，并在采样中实现固定的初始截面宽度。

实验结果

研究问题

• RQ1 基于厄米特的波函数表示能否为任意连续单变量概率分布提供灵活、低维且抗过拟合的参数化？
• RQ2 该方法在建模偏态、多峰和重尾分布（如学生 t 分布、均匀分布和贝塔分布）方面表现如何？
• RQ3 与核密度估计相比，波函数表示在尾部分布行为、计算效率和无调参方面是否表现更优？
• RQ4 能否通过立体投影高效计算并稳定系数的最大似然估计，以处理单位球面约束？
• RQ5 该方法在条件模型中的扩展程度如何，即当系数依赖于预测变量以实现异方差回归时？

主要发现

• 波函数表示能准确建模多种分布，包括自由度为 4 的学生 t 分布、双峰混合分布以及偏态的 Beta(3,5) 分布，且过拟合程度极低。
• 即使在具有挑战性的分布（如均匀分布）上，该方法也能实现良好拟合，尽管在间断点附近会出现吉布斯现象，且浮点数误差将最大阶数限制在约 20。
• 即使样本量较小（如 n=2），系数的最大似然估计也能可靠收敛，且 L-BFGS 优化在实践中表现良好。
• 通过高斯-厄米特求积可在 $ O(K) $ 次操作内精确计算矩，兼具高精度与高效率。
• 估计密度 $ \hat{f}(x) $ 具有行为良好的尾部，支持高效采样，EDP 使用单变量截面采样器，计划改用 ARMS 以提升速度。
• 该表示对模型复杂度具有鲁棒性：增加阶数 $ K $ 可提升对多峰和不连续密度的拟合效果，但收敛性受数值精度限制。