[论文解读] On Bayesian quantile regression and outliers

Bruno Santos, Heleno Bolfarine|arXiv (Cornell University)|Jan 27, 2016

Bayesian Methods and Mixture Models参考文献 10被引用 3

一句话总结

本文提出了一种贝叶斯分位数回归方法，利用非对称拉普拉斯混合表示中潜变量后验分布来识别回归模型中的异常值。通过将尺度参数 σ 视为可估计而非固定，该方法能够检测出显著偏离条件分布的观测值，尤其在不同分位数区域中表现明显，如模拟数据和巴西基尼指数数据所示，后者在不同分位数区域中存在多个异常值。

ABSTRACT

In this work we discuss the progress of Bayesian quantile regression models since their first proposal and we discuss the importance of all parameters involved in the inference process. Using a representation of the asymmetric Laplace distribution as a mixture of a normal and an exponential distribution, we discuss the relevance of the presence of a scale parameter to control for the variance in the model. Besides that we consider the posterior distribution of the latent variable present in the mixture representation to showcase outlying observations given the Bayesian quantile regression fits, where we compare the posterior distribution for each latent variable with the others. We illustrate these results with simulation studies and also with data about Gini indexes in Brazilian states from years with census information.

研究动机与目标

• 解决贝叶斯分位数回归中固定尺度参数（σ）的局限性，后者可能导致方差控制和推断失真。
• 通过分析非对称拉普拉斯混合表示中潜变量的后验分布，开发一种稳健的异常值识别方法。
• 证明多个异常值可能以不同方式影响不同分位数，因此需要分位数特定的异常值检测。
• 通过利用潜变量后验分布，提供一种计算上可行的替代方案，以替代删除法诊断。
• 表明将 σ 固定会导致后验协方差矩阵不可靠及估计偏差，尤其在高维或污染数据中。

提出的方法

• 使用非对称拉普拉斯分布的尺度混合表示，将其表达为具有指数混合变量的正态方差-均值混合。
• 为每个观测值 $ i $ 建模潜变量 $ v_i $，其后验分布反映残差偏离条件分位数的程度。
• 应用MCMC抽样以估计回归系数、$ \sigma $ 和潜变量 $ v_i $ 的联合后验分布，实现完整的贝叶斯推断。
• 通过比较各观测值 $ v_i $ 的后验分布，识别出极端值，指示潜在异常值。
• 利用 $ v_i $ 的后验分布与平均后验分布之间的Kullback-Leibler散度来量化异常程度。
• 使用作为诊断指标的异常值后验概率均值，该值越高表示偏离程度越大。

实验结果

研究问题

• RQ1 在贝叶斯分位数回归中，固定尺度参数 σ 如何影响后验推断和异常值检测？
• RQ2 潜变量 $ v_i $ 的后验分布能否作为贝叶斯分位数回归中异常观测的可靠指标？
• RQ3 多个异常值如何影响不同分位数上的分位数回归估计？能否实现分别检测？
• RQ4 从后验分布中估计 σ 与将其固定为 1 相比，对模型拟合和推断准确性有何影响？
• RQ5 所提出的方法能否检测出在条件分布不同部分（如下分位数和上分位数）具有影响力的异常值？

主要发现

• 潜变量 $ v_i $ 的后验分布能有效识别出远离数据主体的观测值，尤其在下分位数和上分位数中表现突出。
• 巴西联邦区（2010年、2000年、1991年）的观测值在 0.1th 分位数被识别为异常值，尽管基尼指数预期较低，但其收入和教育水平较高。
• 圣卡塔琳娜州（2010年）在 0.9th 分位数被标记为异常值，因其基尼指数异常偏低（0.49），低于次低值（0.53）。
• 该方法检测到异常值在不同分位数上对回归估计的影响不同，模拟结果显示当存在多个异常值时偏差增加。
• 将 σ 固定为 1 会导致后验协方差矩阵不可靠及推断质量差，而从后验中估计 σ 则能提升模型稳健性和方差控制能力。
• Kullback-Leibler 散度和异常值后验概率的均值提供了稳定且可解释的极端观测值识别指标。