[论文解读] Permutation tests of non-exchangeable null models

Jeffrey Roach, William Valdar|arXiv (Cornell University)|Aug 30, 2018

Diverse Scientific and Engineering Research参考文献 14被引用 3

一句话总结

本文通过引入一个保持精确性并以闭式推导出最强大广义置换检验的框架，将置换检验推广至非交换性零假设模型。该方法建立了基于伯恩斯坦多项式估计器的蒙特卡洛近似收敛性，并提供了对p值估计误差的严格界，使得在复杂模型（如线性混合模型）中具有实际应用价值。

ABSTRACT

Generalizations to the permutation test are introduced to allow for situations in which the null model is not exchangeable. It is shown that the generalized permutation tests are exact, and a partial converse: that any test function that is exact on all probability densities coincides with a generalized permutation test on a particular region, is established. A most powerful generalized permutation test is derived in closed form. Approximations to the most powerful generalized permutation test are proposed to reduce the computational burden required to compute the complete test. In particular, an explicit form for the approximate test is derived in terms of a multinomial Bernstein polynomial approximation, and its convergence to the most powerful generalized permutation test is demonstrated. In the case where the determination of p-values is of greater interest than testing of hypotheses, two approaches to estimation of significance are analyzed. Bounds on the deviation from significance of the exact most powerful test are given in terms of sample size. For both estimators, as sample size approaches infinity, the estimator converges to the significance of the most powerful generalized permutation test under mild conditions. Applications of generalized permutation testing to linear mixed models are provided.

研究动机与目标

• 将置换检验从交换性零假设模型扩展至更广泛的应用场景，因为后者在实践中常因对异常值敏感和结构约束而显得不切实际。
• 开发一种在非交换性零假设下仍保持精确性的广义置换检验，确保第一类错误控制的有效性。
• 通过线性规划求解，以闭式推导出最强大的广义置换检验，将其与奈曼-皮尔逊理论相联系。
• 利用马尔可夫链蒙特卡洛采样和多项式伯恩斯坦估计器，提供计算上可行的近似方法。
• 分析p值估计的准确性，提供从精确最强大检验中偏离的偏差的概率界。

提出的方法

• 广义置换检验通过反映非交换性零假设密度 $ g_0 $ 的排列概率测度来定义，当 $ g_0 $ 为交换性时，退化为标准置换检验。
• 通过在排列空间上求解一个标准线性规划问题，推导出最强大的检验，以在零分布下最大化统计功效。
• 通过根据估计密度 $ \hat{g}_0 $ 采样排列，构建蒙特卡洛近似，其中选择概率由非对称单元上的积分定义。
• 证明基于超过阈值的排列比例的估计量 $ \Sigma_U $ 是真实p值的无偏估计。
• 使用伯恩斯坦多项式近似来建模检验统计量的分布，从而在样本量增加时实现向精确最强大检验的收敛。
• 应用霍夫丁不等式与伯恩斯坦不等式，对p值估计量与真实显著性水平之间的偏差进行界约束，确保概率收敛。

实验结果

研究问题

• RQ1 置换检验能否在保持精确性与统计功效的前提下推广至非交换性零假设模型？
• RQ2 在非交换性零假设模型下，最强大的广义置换检验的形式为何？
• RQ3 如何在不计算全部 $ n! $ 个排列的情况下，高效地近似最强大的检验？
• RQ4 在此广义框架下，蒙特卡洛p值估计器的收敛性质与误差界如何？
• RQ5 基于伯恩斯坦多项式的近似方案与直接蒙特卡洛采样相比，在准确性和效率方面表现如何？

主要发现

• 广义置换检验在任意非交换性零假设模型下均保持精确性；任何在所有概率密度下均精确的检验，其在样本空间的较大子集上与此类广义检验一致。
• 通过将问题简化为在排列群上的线性优化任务，以闭式推导出最强大的广义置换检验。
• 基于根据 $ \hat{g}_0 $ 采样排列的蒙特卡洛近似，随着采样排列数的增加，几乎必然收敛至真实的最强大检验。
• 基于超过 $ l(\mathbf{x}) $ 的排列比例的p值估计量 $ \Sigma_U $，是真实显著性水平的无偏估计。
• 霍夫丁不等式与伯恩斯坦不等式提供了p值估计量与真实值之间偏差的显式概率界，且误差随样本量呈指数级减小。
• 多项式伯恩斯坦多项式近似提供了一种平滑且收敛的最强大检验估计器，在 $ \hat{g}_0 $ 满足弱正则性条件时，其收敛性得以建立。