[论文解读] The Tangent Exponential Model

A. C. Davison, Nancy Reid|arXiv (Cornell University)|Jun 19, 2021

Statistical Methods and Bayesian Inference被引用 4

一句话总结

切线指数模型（TEM）提出了一种高阶似然推断框架，通过利用局部位置模型和鞍点技术，改进了频率学派与贝叶斯近似方法。该方法通过从辅助统计量导出的方向向量构建唯一且连续的枢轴分布，实现了高达 O(n⁻¹) 误差精度的 p 值与后验近似，其理论推导与经验一致性已得到验证。

ABSTRACT

The likelihood function is central to both frequentist and Bayesian formulations of parametric statistical inference, and large-sample approximations to the sampling distributions of estimators and test statistics, and to posterior densities, are widely used in practice. Improved approximations have been widely studied and can provide highly accurate inferences when samples are small or there are many nuisance parameters. This article reviews improved approximations based on the tangent exponential model developed in a series of articles by D.~A.~S.~Fraser and co-workers, attempting to explain the theoretical basis of this model and to provide a guide to the associated literature, including a partially-annotated bibliography.

研究动机与目标

• 开发一种理论基础坚实的高阶近似方法，用于基于似然的推断，以在小样本及存在大量 nuisance 参数时提升准确性。
• 通过构建一个与后验生存函数在 O(n⁻¹) 范围内一致的枢轴量，统一频率学派与贝叶斯推断。
• 利用切线指数模型提供参数模型中降维的连贯框架，确保在重新参数化下保持连续性与不变性。
• 通过系统性综述与带注释的参考文献，澄清 TEM 的理论基础，解决原始文献中的模糊之处。
• 通过渐近展开与与现有方法（如 Laplace 近似与鞍点近似）的对比验证，展示 TEM 的有效性与稳健性。

提出的方法

• 该方法基于得分函数与密度比的变换，在观测数据周围构建局部位置模型，确保参数空间中的局部线性性。
• 从局部位置模型中导出方向向量 V，以定义辅助流形的切平面，从而确定推断的充分方向。
• 切线指数模型通过在切平面上使用鞍点近似进行积分，近似参数感兴趣的抽样分布，从而得到优化的 p 值函数。
• 枢轴量 r* 被构造为显著性函数的高阶近似，经校准后与数据依赖先验下的后验生存函数相匹配。
• 该构造依赖于存在一个二阶辅助统计量，其方向向量与切平面相同，从而在高维设定中确保稳定性和一致性。
• 该方法整合了条件性、充分性与不变性原则，其理论依据来自渐近展开与连续性假设。

Figure 1: Inference for gamma example. Significance functions ${\rm Pr}(s\leq s^{\mathrm{o}}\mid a;\theta)$ (left) and log likelihoods (right) for $a=3$ (solid) and $a=6$ (dots). The horizontal lines in the left-hand panel are at 0.025, 0.5 and 0.975; the intersections of the highest and lowest of t

实验结果

研究问题

• RQ1 如何构建一种高阶似然近似方法，使其在 nuisance 参数存在下仍保持不变性与准确性？
• RQ2 切线指数模型中枢轴量 r* 唯一性的理论基础是什么？
• RQ3 切线指数模型如何调和频率学派的显著性函数与贝叶斯后验分布之间的关系？
• RQ4 局部位置模型的构建在何种意义上确保了在一般参数模型中近似的连续性与有效性？
• RQ5 方向向量 V 在定义辅助曲面的切平面中起什么作用？它们如何从得分函数导出？

主要发现

• 切线指数模型生成的枢轴分布 r* 与后验生存函数在 O(n⁻¹) 误差范围内一致，从而实现准确的贝叶斯-频率学派调和。
• 从局部位置模型导出的方向向量 V 定义了辅助流形的唯一切平面，确保了该方法的不变性与一致性。
• 该方法在 p 值近似中实现了 O(n⁻¹) 的精度，已在多种模型（包括非指数族模型）中通过理论与实证验证。
• 通过在切平面上使用鞍点近似构造 r*，得到的显著性函数在重复抽样下既平滑又校准。
• 存在一个二阶辅助统计量，其方向向量与切平面相同，证实了该近似的稳定性和渐近有效性。
• 该框架通过推导一个数据依赖先验，解决了先验选择的模糊性，确保显著性函数与后验函数在 O(n⁻¹) 范围内一致。

Figure 2: Conditional inference for gamma example. Left: joint density $f(y;\theta)$ with $\theta=1$ , $y^{\mathrm{o}}=(4.8,1.875)$ , giving $a^{\mathrm{o}}=3$ and $s^{\mathrm{o}}=1.6$ . The yellow filled circle shows $y^{\mathrm{o}}$ and the red filled circle shows $f(y^{\mathrm{o}};\theta)$ . The