[论文解读] Skewed probit regression -- Identifiability, contraction and reformulation

Janet van Niekerk, Håvard Rue|arXiv (Cornell University)|Sep 20, 2020

Statistical Distribution Estimation and Applications参考文献 27被引用 7

一句话总结

本文通过重新定义截距并标准化偏度链接函数，解决了偏度probit回归中的根本性问题，确保可识别性与可解释性。提出了一种在重参数化下不变的惩罚复杂度（PC）先验用于偏度参数，当数据缺乏偏度证据时，该先验会收缩至标准probit模型，从而在频率学派与贝叶斯框架下均提升了推断的可靠性。

ABSTRACT

Skewed probit regression is but one example of a statistical model that generalizes a simpler model, like probit regression. All skew-symmetric distributions and link functions arise from symmetric distributions by incorporating a skewness parameter through some skewing mechanism. In this work we address some fundamental issues in skewed probit regression, and more genreally skew-symmetric distributions or skew-symmetric link functions. We address the issue of identifiability of the skewed probit model parameters by reformulating the intercept from first principles. A new standardization of the skew link function is given to provide and anchored interpretation of the inference. Possible skewness parameters are investigated and the penalizing complexity priors of these are derived. This prior is invariant under reparameterization of the skewness parameter and quantifies the contraction of the skewed probit model to the probit model. The proposed results are available in the R-INLA package and we illustrate the use and effects of this work using simulated data, and well-known datasets using the link as well as the likelihood.

研究动机与目标

• 解决偏度probit回归参数的可识别性问题，特别是截距与偏度参数之间的混淆问题。
• 重新表述线性预测器中的截距，确保其作为真实截距的行为，且不与偏度混淆。
• 提出一种新的、锚定的偏度链接函数标准化方法，保持可解释性，避免传统基于参数的标准化带来的失真。
• 推导一种在重参数化下不变的偏度参数惩罚复杂度（PC）先验，量化模型向对称probit模型的收缩程度。
• 在R-INLA包中实现所提出的框架，便于研究人员实际应用。

提出的方法

• 采用基于分位数的方法重新表述线性预测器中的截距，确保其在协变量为零时代表响应的均值，且独立于偏度。
• 通过将截距固定在有意义的分位数（如中位数或75百分位数）实现偏度链接函数的锚定标准化，而非依赖对称模型的参数。
• 基于对称模型的总变差距离，推导偏度参数的惩罚复杂度（PC）先验，确保其在重参数化下的不变性。
• 利用PC先验量化当数据不支持偏度时，偏度模型向标准probit模型的收缩程度。
• 在R-INLA包中完整实现该模型，使用户能够使用合适的先验和可解释的推断来拟合偏度probit模型。

实验结果

研究问题

• RQ1 如何重新定义偏度probit回归中的截距，以确保可识别性并避免与偏度参数混淆？
• RQ2 为何传统的基于参数的偏度链接函数标准化方法存在问题？何种替代标准化方法能确保可解释性？
• RQ3 何种重参数化不变的先验可用于偏度参数，以量化偏度模型向对称probit模型的收缩程度？
• RQ4 当数据稀疏或缺乏偏度证据时，惩罚复杂度先验如何提升推断性能？
• RQ5 所提出的框架能否在实践中有效实现并应用，如通过模拟数据与真实世界数据所展示？

主要发现

• 所提出的截距重构确保其在协变量为零时代表响应的均值，消除了与偏度参数的混淆，提升了模型的可识别性。
• 锚定标准化的偏度链接函数保持了线性预测器到概率的映射关系，避免了传统基于参数的标准化带来的失真。
• 推导出的偏度参数惩罚复杂度先验在重参数化下保持不变，并在数据不支持偏度时自然地使模型收缩至标准probit模型。
• 在wines数据集中，偏正态模型的边际对数似然为-722.21，显著优于高斯模型的-724.59，后验均值偏度为0.439（95%可信区间：0.128–0.702）。
• PC先验在低试验次数的二元数据中表现出稳健性，可防止偏度估计不可靠，并在适当情况下倾向于更简单的probit模型。