[论文解读] The Multiple Quantile Graphical Model

Alnur Ali, J. Zico Kolter+1 more|arXiv (Cornell University)|Jul 2, 2016

Bayesian Modeling and Causal Inference被引用 9

一句话总结

多重分位数图形模型（MQGM）通过将一个变量的多个条件分位数建模为其他变量的稀疏函数，扩展了邻域选择方法，实现了对异方差、非高斯图形模型的灵活非参数估计。在正则性条件下，MQGM即使在非高斯假设下也能一致地恢复条件独立性，且采用基于交替方向乘子法（ADMM）的高效算法与联合分布采样策略。

ABSTRACT

We introduce the Multiple Quantile Graphical Model (MQGM), which extends the neighborhood selection approach of Meinshausen and Buhlmann for learning sparse graphical models. The latter is defined by the basic subproblem of modeling the conditional mean of one variable as a sparse function of all others. Our approach models a set of conditional quantiles of one variable as a sparse function of all others, and hence offers a much richer, more expressive class of conditional distribution estimates. We establish that, under suitable regularity conditions, the MQGM identifies the exact conditional independencies with probability tending to one as the problem size grows, even outside of the usual homoskedastic Gaussian data model. We develop an efficient algorithm for fitting the MQGM using the alternating direction method of multipliers. We also describe a strategy for sampling from the joint distribution that underlies the MQGM estimate. Lastly, we present detailed experiments that demonstrate the flexibility and effectiveness of the MQGM in modeling hetereoskedastic non-Gaussian data.

研究动机与目标

• 开发一种灵活的非参数方法，用于在超越高斯假设的条件下学习稀疏图形模型。
• 将每个变量的多个条件分位数建模为其他变量的稀疏函数，以捕捉更丰富的依赖结构。
• 在一般正则性条件下（包括异方差和非高斯数据）建立结构恢复的理论一致性。
• 提供一种基于交替方向乘子法（ADMM）的高效算法，用于拟合MQGM。
• 实现从MQGM估计所隐含的联合分布中采样，以支持下游推断。

提出的方法

• MQGM通过在所有其他变量上使用套索正则化拟合多个分位数回归（例如τ = 0.1, 0.3, 0.5, 0.7, 0.9），对每个变量的条件分布进行建模。
• 该方法采用伪似然框架，将联合分布近似为通过多重分位数回归估计的条件分布的乘积。
• 开发了一种基于ADMM的优化算法，以高效求解由多重分位数回归子问题产生的大规模稀疏优化问题。
• 通过求解d × m个子问题（其中d为变量数，m为分位数个数），在高维设置（d ≫ n）下处理稀疏预测变量集。
• 提出了一种采样策略，利用拟合的条件分位数模型从估计的联合分布中生成数据。
• 通过在给定x的y回归中引入外生变量x，将该方法扩展至条件图形模型。

实验结果

研究问题

• RQ1 能否构建一种图形模型，以捕捉超越基于均值模型的复杂、非高斯、异方差的条件依赖关系？
• RQ2 在一般数据分布下，对多个条件分位数进行建模是否能一致地恢复真实的条件独立性结构？
• RQ3 MQGM在建模非高斯和异方差数据方面，与GLasso、MB和SpaceJam等现有方法相比表现如何？
• RQ4 MQGM能否在高维设置（d ≫ n）和大量分位数下实现高效扩展？
• RQ5 MQGM框架是否适用于风力发电预测和流感疫情建模等实际应用场景？

主要发现

• 在适当的正则性条件下，MQGM以趋于1的概率一致地恢复真实的条件独立性结构，即使在非高斯和异方差设置下亦成立。
• 在环形分布实验中，MQGM在总变差（TV）和柯尔莫哥洛夫-斯米尔诺夫（KS）距离上显著优于MB、GLasso和SpaceJam，表明其在条件累积分布函数估计方面表现更优。
• 在U.S.流感发病率数据上，MQGM成功捕捉了不同地区流感报告的异方差特性，其边缘分布显示出随时间和地区变化的方差差异。
• 在风力发电预测中，MQGM成功识别了时间依赖性（如小时间相关性）和跨农场依赖性，非对角块非零表明农场间存在相互影响。
• ADMM算法表现出高效扩展性，对于包含336个变量、5个分位数和3,417个外生变量的问题，每个子问题的求解时间约为87分钟。
• MQGM的条件分布具有直观的视觉表现——例如某些区间呈现双峰分布——而对比方法则产生过于高斯形状的密度，反映出MQGM在建模复杂、非椭球依赖关系方面的能力。