[论文解读] Permuted and Augmented Stick-Breaking Bayesian Multinomial Regression

Quan Zhang, Mingyuan Zhou|arXiv (Cornell University)|Dec 30, 2016

Bayesian Methods and Mixture Models被引用 9

一句话总结

本文提出了一种排列并增强的棒棒糖分解（paSB）构造，通过协变量依赖的棒棒糖成功概率，将多项式回归转化为独立的二元回归。该方法通过利用softplus函数和现有的二元分类器（如SVM），实现了具有不确定性量化、鲁棒性以及非线性决策边界的贝叶斯多项式分类。

ABSTRACT

To model categorical response variables given their covariates, we propose a permuted and augmented stick-breaking (paSB) construction that one-to-one maps the observed categories to randomly permuted latent sticks. This new construction transforms multinomial regression into regression analysis of stick-specific binary random variables that are mutually independent given their covariate-dependent stick success probabilities, which are parameterized by the regression coefficients of their corresponding categories. The paSB construction allows transforming an arbitrary cross-entropy-loss binary classifier into a Bayesian multinomial one. Specifically, we parameterize the negative logarithms of the stick failure probabilities with a family of covariate-dependent softplus functions to construct nonparametric Bayesian multinomial softplus regression, and transform Bayesian support vector machine (SVM) into Bayesian multinomial SVM. These Bayesian multinomial regression models are not only capable of providing probability estimates, quantifying uncertainty, increasing robustness, and producing nonlinear classification decision boundaries, but also amenable to posterior simulation. Example results demonstrate their attractive properties and performance.

研究动机与目标

• 为解决传统多项式回归在提供不确定性估计和鲁棒非线性决策边界方面的局限性。
• 开发一种适用于后验模拟和不确定性量化的贝叶斯多项式分类框架。
• 实现将任意交叉熵损失二元分类器转换为贝叶斯多项式模型。
• 通过协变量依赖的softplus函数，构建非参数贝叶斯多项式softplus回归。
• 通过paSB构造，将贝叶斯支持向量机扩展至多项式分类。

提出的方法

• paSB构造将观测类别映射到随机排列的潜在棒棒糖上，实现类别与二元响应变量之间的一一对应关系。
• 每个棒棒糖代表一个二元结果，其成功概率由对应类别的回归系数参数化。
• 棒棒糖失败概率的负对数使用协变量的softplus函数建模，实现灵活的非参数建模。
• 该方法将多项式回归转化为一系列具有协变量依赖成功概率的独立二元回归问题。
• 通过给定协变量依赖概率下棒棒糖特定二元变量的条件独立性，实现后验模拟。
• 通过对其损失函数和参数化的paSB变换，将现有二元分类器（如SVM）适配为贝叶斯多项式模型。

实验结果

研究问题

• RQ1 能否构建一个贝叶斯多项式回归模型，实现完整的后验推断和不确定性量化，同时保持计算可行性？
• RQ2 如何系统地将任意交叉熵损失二元分类器转换为贝叶斯多项式分类器？
• RQ3 paSB构造能否在多项式分类中产生非线性决策边界，同时保持可解释性和后验模拟能力？
• RQ4 与标准多项式模型相比，所提出的基于softplus的非参数贝叶斯多项式回归模型性能如何？
• RQ5 在多类分类中，贝叶斯SVM通过paSB框架能扩展到何种程度？

主要发现

• paSB构造成功地将多项式回归转化为一组条件独立的二元回归问题，实现了后验模拟和不确定性量化。
• 使用softplus函数对棒棒糖失败概率建模，使得协变量对多项式结果的影响能够实现灵活的非参数建模。
• 该框架能够将任意交叉熵损失二元分类器转换为贝叶斯多项式模型，同时保持其决策边界结构。
• 所得到的贝叶斯多项式softplus回归模型表现出鲁棒性，并能生成非线性决策边界。
• 通过paSB将贝叶斯SVM扩展至多项式分类，得到的模型在不确定性量化和预测性能方面均有提升。
• 实证结果表明该方法具有优异特性，包括可靠的概率估计以及在分类任务中增强的鲁棒性。