[论文解读] Repro Samples Method for Finite- and Large-Sample Inferences

Minge Xie, Peng Wang|arXiv (Cornell University)|Jun 13, 2022

Bayesian Methods and Mixture Models被引用 6

一句话总结

本文提出 repro samples 方法，这是一种无需似然函数、适用于有限样本的推断框架，通过模仿数据生成机制生成人工样本，以量化不确定性并构建有效的置信集。该方法无需依赖中心极限定理，即可实现保证的频率学覆盖概率，从而实现对离散、非数值型及复杂参数的精确推断——尤其在估计正态混合模型中分量数量等具有挑战性的问题上表现优异。

ABSTRACT

This article presents a novel, general, and effective simulation-inspired approach, called {\it repro samples method}, to conduct statistical inference. The approach studies the performance of artificial samples, referred to as {\it repro samples}, obtained by mimicking the true observed sample to achieve uncertainty quantification and construct confidence sets for parameters of interest with guaranteed coverage rates. Both exact and asymptotic inferences are developed. An attractive feature of the general framework developed is that it does not rely on the large sample central limit theorem and is likelihood-free. As such, it is thus effective for complicated inference problems which we can not solve using the large sample central limit theorem. The proposed method is applicable to a wide range of problems, including many open questions where solutions were previously unavailable, for example, those involving discrete or non-numerical parameters. To reduce the large computational cost of such inference problems, we develop a unique matching scheme to obtain a data-driven candidate set. Moreover, we show the advantages of the proposed framework over the classical Neyman-Pearson framework. We demonstrate the effectiveness of the proposed approach on various models throughout the paper and provide a case study that addresses an open inference question on how to quantify the uncertainty for the unknown number of components in a normal mixture model. To evaluate the empirical performance of our repro samples method, we conduct simulations and study real data examples with comparisons to existing approaches. Although the development pertains to the settings where the large sample central limit theorem does not apply, it also has direct extensions to the cases where the central limit theorem does hold.

研究动机与目标

• 解决在中心极限定理不适用时，复杂统计问题缺乏精确、有限样本推断方法的问题。
• 开发一种通用的推断框架，无需似然函数或大样本近似。
• 为传统方法失效的离散或非数值型参数（如混合模型中的分量数量）提供有效的置信集。
• 通过基于数据的候选参数集匹配方案降低计算成本，同时保持统计有效性。
• 将统计推断的适用范围扩展至包含干扰参数、高维选择不确定性及非正则参数空间的模型。

提出的方法

• 通过从数据生成机制 $\bm{Y} = G(\theta, \bm{U})$ 中模拟生成人工样本（称为 'repro samples'），其中 $\theta$ 为参数，$\bm{U}$ 为均匀随机向量。
• 以观测数据 $\bm{y}_{\text{obs}} = G(\theta_0, \bm{u}^{\text{rel}})$ 作为参考，定义一组参数 $\theta$，使得在相同的 $\bm{u}^*$ 下，对应的 repro samples 与观测数据匹配。
• 通过识别那些使得观测数据 $\bm{y}_{\text{obs}}$ 落在对应 $\theta$ 下 repro samples 的经验分位数范围内的参数 $\theta$，构建置信集，从而确保覆盖概率的保证。
• 实施一种匹配方案，以选择基于数据的候选参数集 $\theta$，显著降低计算成本，避免完全枚举。
• 利用算法模型结构（1）及其扩展（9），处理复杂模型，包括由微分方程或基于模拟的机制定义的模型。
• 通过有限样本频率学覆盖概率保证，确保理论有效性，即使真实参数位于边界或为离散值。

实验结果

研究问题

• RQ1 当中心极限定理不适用时，如何构建有效的置信集？
• RQ2 能否开发一种无需似然函数的推断框架，以确保对离散或非数值型参数的精确有限样本覆盖？
• RQ3 如何高效处理具有干扰参数和未知分量结构的高维或复杂模型？
• RQ4 repro samples 方法与经典频率学、贝叶斯及费希尔推断框架之间有何关系？
• RQ5 该方法能否扩展至高维设置下的后选择推断与模型选择问题？

主要发现

• repro samples 方法在有限样本和大样本下均能构建具有保证的频率学覆盖概率的置信集，即使中心极限定理不成立。
• 该方法能成功恢复正态混合模型中未知分量数量 $\tau_0$ 的真实值，而现有方法（包括点估计、假设检验和贝叶斯基于集）常遗漏真实值且倾向于低估。
• 在相同问题设置下，贝叶斯方法表现出较差的重复覆盖率，并对 $\tau$ 以及 $\bm{\mu}, \bm{\sigma}$ 的先验选择高度敏感，而 repro samples 方法则无此问题。
• 基于数据的匹配方案显著降低了计算成本，同时保持了统计有效性，使该方法可实际应用于高维与复杂模型。
• 在离散或非正则参数设置下，该方法在覆盖概率与稳健性方面优于经典的奈曼-皮尔逊检验。
• 该框架广泛适用于涉及离散参数、干扰参数及基于模拟的模型的问题，包括后选择推断与网络结构识别。