[论文解读] Prediction Measures in Beta Regression Models

Patrícia L. Espinheira, Luana Cecília Meireles da Silva+1 more|arXiv (Cornell University)|Jan 20, 2015

Advanced Statistical Methods and Models参考文献 12被引用 5

一句话总结

本文提出了 PRESS 统计量和预测系数（$P^2$），用于具有可变离散度的贝塔回归模型，以评估预测性能，且独立于拟合优度。该研究提出了一种基于残差的新方法，结合费雪评分法同时估计均值（$\beta$）和精度（$\gamma$）参数，通过模拟实验和一个关于巴西圣保罗市天然气分布的实际案例研究，表明 $P^2$ 能够有效识别不可靠模型，尤其是在模型设定错误或响应值处于边界时。

ABSTRACT

We consider the issue of constructing PRESS statistics and coefficients of prediction for a class of beta regression models. We aim at displaying measures of predictive power of the model regardless goodness-of-fit. Monte Carlo simulation results on the finite sample behavior of such measures are provided.We also present an application that relates to the distribution of natural gas for home usage in São Paulo, Brazil. Faced with the economic risk of to overestimate or to underestimate the distribution of gas was necessary to construct prediction limits using beta regression models (Espinheira et al., 2014). Thus, it arises the aim of this work, the selection of best predictive model to construct best prediction limits.

研究动机与目标

• 开发一种与拟合优度统计量无关的贝塔回归模型预测性能度量方法。
• 将 PRESS 和 $P^2$ 系数扩展至精度依赖于协变量的可变离散度贝塔回归模型。
• 通过蒙特卡洛模拟评估这些预测度量在有限样本下的行为。
• 将所提度量应用于涉及巴西圣保罗市天然气分布的实际问题。
• 为高风险应用场景中构建可靠预测区间提供模型选择指导。

提出的方法

• 提出一种基于残差的新方法，通过结合费雪评分算法在可变离散度贝塔回归中同时估计均值（$\beta$）和精度（$\gamma$）参数的普通残差。
• 推导 PRESS 统计量，即通过在模型拟合过程中逐个剔除观测值所获得的外部残差平方和。
• 引入 $P^2$ 系数作为基于 PRESS 的预测决定系数，类似于 $R^2$，但侧重于预测性能。
• 使用费雪评分迭代算法估计 $\beta$ 和 $\gamma$，其得分函数和费雪信息矩阵基于贝塔分布的 exponential family 结构推导得出。
• 应用 $P^2$ 和 $P^2_{\beta\gamma}$ 统计量评估模型设定错误、杠杆点以及边界响应值下的预测能力。
• 采用蒙特卡洛模拟评估在遗漏协变量和错误离散度假设等情形下的有限样本性能。

实验结果

研究问题

• RQ1 PRESS 和 $P^2$ 统计量在评估具有可变离散度的贝塔回归模型预测能力方面表现如何？
• RQ2 当拟合优度度量（如 $R^2_{LR}$）无法检测到时，$P^2$ 是否能够识别模型不可靠性？
• RQ3 即使在模型设定正确的情况下，当响应值接近 0 或 1 时，预测性能如何受到影响？
• RQ4 遗漏协变量或错误的离散度建模对预测度量有何影响？
• RQ5 $P^2$ 和 $P^2_{\beta\gamma}$ 在识别预测能力差的模型方面表现如何比较？

主要发现

• $P^2$ 和 $P^2_{\beta\gamma}$ 系数表现相似，能有效识别预测能力差的模型，尤其在模型设定错误或高杠杆点情况下。
• 当响应值接近 0 或 1 时，预测能力显著下降，即使模型设定正确，也凸显了对边界值的敏感性。
• $R^2_{LR}$ 统计量也能在这些情况下检测到拟合不良，但 $P^2$ 提供了超越拟合优度的额外预测洞察。
• 蒙特卡洛模拟表明，$P^2$ 对遗漏协变量和错误离散度建模具有鲁棒性，在预测选择方面优于传统基于拟合的准则。
• 在圣保罗市天然气分布的实证应用中，$P^2$ 证实有助于选择具有更好预测区间限制的模型，这对风险管理至关重要。
• 所提出的基于残差的 PRESS 统计量计算上可行，为贝塔回归中的传统基于拟合的模型评估提供了一种可靠的替代方法。