[论文解读] VCBART: Bayesian trees for varying coefficients

Sameer K. Deshpande, Ray Bai+3 more|arXiv (Cornell University)|Mar 13, 2020

Health disparities and outcomes被引用 5

一句话总结

VCBART 提出了一种用于变系数模型的贝叶斯加法回归树框架，能够灵活地非参数估计随多变量调节变量变化的协变量效应。该方法在估计精度、不确定性量化和预测性能方面优于现有方法，且无需限制函数形式假设或繁琐的调参。

ABSTRACT

The linear varying coefficient models posits a linear relationship between an outcome and covariates in which the covariate effects are modeled as functions of additional effect modifiers. Despite a long history of study and use in statistics and econometrics, state-of-the-art varying coefficient modeling methods cannot accommodate multivariate effect modifiers without imposing restrictive functional form assumptions or involving computationally intensive hyperparameter tuning. In response, we introduce VCBART, which flexibly estimates the covariate effect in a varying coefficient model using Bayesian Additive Regression Trees. With simple default settings, VCBART outperforms existing varying coefficient methods in terms of covariate effect estimation, uncertainty quantification, and outcome prediction. We illustrate the utility of VCBART with two case studies: one examining how the association between later-life cognition and measures of socioeconomic position vary with respect to age and socio-demographics and another estimating how temporal trends in urban crime vary at the neighborhood level. An R package implementing VCBART is available at https://github.com/skdeshpande91/VCBART

研究动机与目标

• 解决现有变系数模型在处理多变量调节变量时，因需要限制函数形式假设或进行密集超参数调优而带来的局限性。
• 开发一种方法，灵活地将协变量效应估计为多个调节变量的非参数函数，而无需强加刚性的参数结构。
• 在社会科学和公共卫生研究中常见的高维或复杂数据情境下，实现准确的不确定性量化与预测性能。
• 提供一种可扩展、无需复杂调参的贝叶斯方法，在保持可解释性的同时，性能可与黑箱模型相媲美。

提出的方法

• 使用贝叶斯加法回归树（BART）对变系数函数 βj(Z) 建模，其中每个 βj(Z) 表示为一组二叉回归树的集合。
• 在树参数上采用层次先验结构，以实现灵活的非参数函数学习，同时保持收缩与正则化。
• 利用 MCMC 抽样联合估计系数函数 βj(Z) 和结果回归模型，支持后验推断与不确定性量化。
• 应用极小极大最优后验集中率定理（定理 1），证明该方法在对数因子范围内具有理论一致性。
• 通过吉布斯抽样实现该方法，迭代更新树结构与节点参数，使用默认先验以最小化用户调参需求。
• 通过将树跳跃项的正态先验替换为稀疏先验（spike-and-slab prior），将框架扩展至稀疏变系数模型，以在非零系数函数中诱导稀疏性。

实验结果

研究问题

• RQ1 当真实函数形式未知且可能复杂时，VCBART 能在多大程度上准确估计变系数函数？
• RQ2 VCBART 是否能在无需针对具体问题调参的情况下，提供校准良好的系数函数评估与结果预测的不确定性区间？
• RQ3 在估计精度与预测性能方面，VCBART 相较于现有最先进的变系数方法表现如何？
• RQ4 VCBART 在多大程度上能检测到费城不同社区随时间变化的犯罪率中非线性、非单调趋势？
• RQ5 社会经济地位与晚年认知能力之间的关联如何随年龄、种族和性别而异？VCBART 是否能在不预先指定交互项的情况下检测到此类异质性？

主要发现

• 在模拟数据上，VCBART 在无需密集调参的情况下，其协变量效应函数恢复与预测性能均优于现有最先进的变系数方法。
• 在健康与退休研究（HRS）的应用中，VCBART 在调整了早年与晚年成年期社会经济地位后，未发现童年社会经济地位与晚年认知能力之间存在显著关联，且在年龄、种族或性别上也未发现强烈的时间变化效应。
• 在费城犯罪分析中，VCBART 发现，在 88% 的普查区（338/384）中，线性趋势系数 β1 的 95% 可信区间不包含零，表明犯罪随时间呈现显著线性趋势。
• 在 32% 的普查区（125/384）中，线性系数 β1 与二次系数 β2 的可信区间均不包含零，表明超过三分之一的社区中犯罪趋势呈现非线性。
• 该模型揭示，费城的犯罪率在 2010 年代初呈整体下降趋势，随后在本十年末再次上升，VCBART 通过各普查区特定的多项式拟合成功捕捉到这一非单调趋势。
• 理论分析表明，VCBART 的后验分布以极小极大最优速率（对数因子内）集中，为该方法提供了坚实的理论基础。