[论文解读] Stein operators, kernels and discrepancies for multivariate continuous distributions

Guillaume Mijoule, Gesine Reinert+1 more|arXiv (Cornell University)|Jun 9, 2018

Statistical Distribution Estimation and Applications参考文献 79被引用 12

一句话总结

本文提出了一种基于 Stein 算子、核函数和差异性的多变量连续分布通用框架。推导了得分-Stein 算子与核-Stein 算子，为椭球分布构造了显式的 Stein 核函数，并提出了一种基于 Stein 差异的拟合优度检验，通过实证验证展示了其在 Copula 和后验距离估计中的应用，涵盖多变量 t-分布与类似正态分布的分布。

ABSTRACT

In this paper we present a general framework for Stein's method for multivariate continuous distributions. The approach gives a collection of Stein characterisations, among which we highlight score-Stein operators and kernel Stein operators. Applications include copulas and distance between posterior distributions. We give a general construction for Stein kernels for elliptical distributions and discuss Stein kernels in generality, highlighting connections with Fisher information and mass transport. Finally, a goodness-of-fit test based on Stein discrepancies is given.

研究动机与目标

• 为适用于一般多变量连续分布的 Stein 方法构建统一框架。
• 解决在高斯或狄利克雷分布等特定情况之外，缺乏系统性多变量 Stein 算子方法的问题。
• 在多变量设定下，建立 Stein 核函数、费雪信息与质量传输理论之间的联系。
• 为椭球分布提供一种构造性方法以推导 Stein 核函数。
• 基于核化算子与实证验证，开发一种基于 Stein 差异的拟合优度检验。

提出的方法

• 通过方向导数与密度函数定义标准 Stein 导数算子，构成 Stein 梯度与散度算子的基础。
• 通过梯度与散度结构对标准算子进行标准化，构造 Stein 算子。
• 基于得分函数 $ \rho = \nabla \log p $ 引入得分-Stein 算子，并利用 Stein 核函数 $ \tau $ 构造核-Stein 算子。
• 在正则性条件下，利用恒等式 $ \tau(x) = \Sigma \cdot \frac{1}{2} \mathbb{E}[\|Z\|^{-2} \mathbf{1}_{\|Z\| \geq \|x\|}] $ 推导椭球分布下 Stein 核函数的显式表达式。
• 通过再生核 Hilbert 空间（RKHS）与微分算子 $ \mathcal{A}_1 $ 构造核化 Stein 差异，得到差异度量 $ \mathcal{S}^\nu(t_\ell, q, k) $。
• 通过比较原假设（如 $ \ell=5 $）与备择分布下的经验差异，实现拟合优度检验，并使用蒙特卡洛分位数进行校准。

实验结果

研究问题

• RQ1 如何在高斯分布之外，构建适用于多变量 Stein 算子的通用框架？
• RQ2 在多变量分布中，Stein 核函数在连接费雪信息与最优传输理论中起到何种作用？
• RQ3 能否为椭球分布推导出显式的 Stein 核函数，其结构形式如何？
• RQ4 所提出的核化 Stein 差异作为多变量分布拟合优度检验的有效性如何？
• RQ5 在比较多变量 t-分布与高斯分布或其他椭球目标时，该检验在有限样本下的性质如何？

主要发现

• 本文为椭球分布提供了 Stein 核函数的显式构造，表明其依赖于球形分量的径向矩。
• 对于自由度为 $ \ell=5 $ 的二元 t-分布，核化差异检验在原假设下得到 p 值为 0.0507，基于 $ 10^5 $ 次模拟的 95% 置信区间为 (-0.0384, 0.0397)。
• 与 Kolmogorov-Smirnov 检验在单变量 t-分布上的比较显示，基于 Stein 的检验统计功效较低，$ \ell=4 $ 时 p 值为 0.0576，而 KS 检验为 0.0497。
• 在二元情况下 $ \ell=5 $，检验得到 p 值为 0.043，95% 置信区间为 (-0.0726, 0.0844)，表明其大小控制能力中等。
• 当 $ \ell=1000 $ 时，检验难以区分二元 t-分布与高斯分布，p 值为 0.052，表明在高维或重尾设定下功效有限。
• 该框架可为 Copula 和后验分布构造差异度量，具有在贝叶斯推断与模型验证中应用的潜力。