[论文解读] Tweedie Gradient Boosting for Extremely Unbalanced Zero-inflated Data

He Zhou, Yi Yang+1 more|arXiv (Cornell University)|Nov 26, 2018

Probability and Risk Models参考文献 21被引用 5

一句话总结

本文提出 EMTboost，一种新颖的梯度提升框架，用于处理零膨胀、高度偏斜的保险索赔数据，通过 EM 算法将非参数 Tweedie 模型与零膨胀分量相结合。该方法利用块坐标下降与基于树的梯度提升，以捕捉复杂的非线性关系与交互作用，显著提升了传统 Tweedie 模型及其他竞争模型的预测准确率，尤其在零索赔比例超过 90% 的极端零膨胀场景下表现优异。

ABSTRACT

Tweedie's compound Poisson model is a popular method to model insurance claims with probability mass at zero and nonnegative, highly right-skewed distribution. In particular, it is not uncommon to have extremely unbalanced data with excessively large proportion of zero claims, and even traditional Tweedie model may not be satisfactory for fitting the data. In this paper, we propose a boosting-assisted zero-inflated Tweedie model, called EMTboost, that allows zero probability mass to exceed a traditional model. We makes a nonparametric assumption on its Tweedie model component, that unlike a linear model, is able to capture nonlinearities, discontinuities, and complex higher order interactions among predictors. A specialized Expectation-Maximization algorithm is developed that integrates a blockwise coordinate descent strategy and a gradient tree-boosting algorithm to estimate key model parameters. We use extensive simulation and data analysis on synthetic zero-inflated auto-insurance claim data to illustrate our method's prediction performance.

研究动机与目标

• 解决传统 Tweedie 模型因零索赔比例过高而失效的挑战，以建模极度不平衡、零膨胀的保险索赔数据。
• 开发一种灵活的非参数方法，以捕捉索赔数据中预测变量之间的复杂非线性关系与高阶交互作用。
• 通过期望最大化（EM）算法，将零膨胀混合模型与 Tweedie 分量联合估计，实现零概率与 Tweedie 参数的联合推断。
• 通过基于树的梯度提升方法建模 Tweedie 分量，提升零损失与正损失预测的性能。
• 提供一种鲁棒且计算高效的解决方案，通过基于树的学习机制自然处理缺失值、异常值与混合类型预测变量。

提出的方法

• 提出一种零膨胀 Tweedie 模型，作为零点质量与具有灵活链接函数的非参数 Tweedie 分布的混合模型。
• 采用期望最大化（EM）算法，迭代估计零膨胀概率与 Tweedie 参数。
• 将块坐标下降与基于决策树的梯度提升相结合，非参数化地建模 Tweedie 分量的均值结构。
• 使用专门设计的损失函数，同时考虑零索赔与正索赔结果，实现零概率与严重程度预测的联合优化。
• 应用一种提升策略，通过顺序拟合树来最小化可微损失函数，提升模型拟合度并降低偏差。
• 通过基于树的提升机制天然处理缺失数据与异常值，该机制自适应地划分数据，无需预处理。

实验结果

研究问题

• RQ1 非参数 Tweedie 模型结合零膨胀是否能在预测极度不平衡的保险索赔数据方面优于传统参数化 Tweedie 模型？
• RQ2 将梯度提升与 EM 算法结合，如何提升在零膨胀、右偏斜索赔数据中的预测准确率？
• RQ3 EMTboost 相较于线性或样条基模型，能在多大程度上捕捉索赔预测变量中的复杂非线性关系与高阶交互作用？
• RQ4 在不同零膨胀水平（λ）下，EMTboost 与现有方法（如 Grabit 和 TDboost）相比表现如何？
• RQ5 当零索赔比例超过 90% 时，尤其在非零索赔样本量较少的情况下，EMTboost 是否仍保持优越性能？

主要发现

• 在所有测试的 λ 水平下，EMTboost 的平均绝对偏差（MAD）最低，λ=0.05 时最终 MAD 为 0.402，显著优于 Grabit 与 TDboost。
• 在零损失数据集上，EMTboost 的平均 MAD 最小（0.146），优于 TDboost（0.269）与 Grabit（0.422），表明其在零概率估计方面表现更优。
• 在正损失数据集上，EMTboost 的 MAD 为 10.406，略高于 Grabit（9.927），但此差异源于非零索赔样本稀少（约 3000 个观测中仅约 100 个）。
• 当非零样本量固定在 λ=0.2 且零损失数据被过采样（η=3）时，EMTboost 保持了具有竞争力的表现，Gini^b 指数为 0.056，在高零比例设置下优于 Grabit 与 TDboost。
• EMTboost 在所有 λ 水平下均实现了最低的 Gini^b 指数，表明其在正索赔排序性能方面更优，尤其在极端零膨胀情况下表现突出。
• 由于其基于树的提升架构，该方法对缺失值与异常值表现出鲁棒性，能自然处理异质预测变量类型与数据不规则性。