[论文解读] Nonlinear Models Using Dirichlet Process Mixtures

Babak Shahbaba, Radford M. Neal|ArXiv.org|Mar 10, 2007

Bayesian Methods and Mixture Models参考文献 46被引用 223

一句话总结

本文提出一种基于狄利克雷过程混合的非线性分类模型，用于非参数化地建模响应变量与协变量的联合分布，假设每个混合分量内存在线性关系。该方法在非线性和层次分类问题上表现优异，特别是在蛋白质折叠预测任务中，优于传统的SVM、神经网络和线性模型。

ABSTRACT

We introduce a new nonlinear model for classification, in which we model the joint distribution of response variable, y, and covariates, x, non-parametrically using Dirichlet process mixtures. We keep the relationship between y and x linear within each component of the mixture. The overall relationship becomes nonlinear if the mixture contains more than one component. We use simulated data to compare the performance of this new approach to a simple multinomial logit (MNL) model, an MNL model with quadratic terms, and a decision tree model. We also evaluate our approach on a protein fold classification problem, and find that our model provides substantial improvement over previous methods, which were based on Neural Networks (NN) and Support Vector Machines (SVM). Folding classes of protein have a hierarchical structure. We extend our method to classification problems where a class hierarchy is available. We find that using the prior information regarding the hierarchical structure of protein folds can result in higher predictive accuracy.

研究动机与目标

• 开发一种灵活的非参数分类模型，能够捕捉协变量与响应变量之间的非线性关系，而无需假设线性关系。
• 解决参数模型的局限性，即假设固定的分布形式和线性关系，当假设不成立时可能导致性能下降。
• 在分类问题中引入层次结构，如蛋白质折叠分类，利用先验领域知识提高预测准确性。
• 通过利用未标记数据进行协变量分布建模，同时使用标记数据建模响应-协变量依赖关系，实现半监督学习。
• 通过每个混合分量内识别出有意义的数据子段，提供可解释的结果，每个分量内部具有线性关系。

提出的方法

• 使用狄利克雷过程混合的多元正态分量对响应变量 $ y $ 和协变量 $ x $ 的联合分布进行建模，实现对潜在分布的非参数估计。
• 假设在每个混合分量内部，$ y $ 与 $ x $ 之间存在线性关系，因此当多个分量同时激活时，整体模型呈现非线性特征。
• 在混合分布 $ G $ 上使用狄利克雷过程先验 $ \mathcal{D}(G_0, \gamma) $，其中 $ G_0 $ 为基分布，$ \gamma $ 控制分量数量。
• 采用中国餐馆过程（CRP）表示法以实现高效的吉布斯采样，各分量的分配概率与该分量中已有数据点的数量成正比。
• 允许不同数据源使用不同的尺度参数 $ \xi $，以自动加权多源学习中的多种数据类型（例如，氨基酸组成、二级结构）。
• 通过使用潜连续变量或适当的离散先验（如Beta分布、多项式logit）将模型扩展至处理分类和多项式协变量。

实验结果

研究问题

• RQ1 基于狄利克雷过程混合的非参数贝叶斯模型是否能在具有非线性关系的分类任务中优于标准的线性和非线性模型？
• RQ2 在蛋白质折叠分类中引入层次结构后，与平面分类模型相比，是否能显著提高预测准确性？
• RQ3 当真实关系为线性时，该模型在多大程度上能适应线性关系，避免非线性模型常见的过拟合？
• RQ4 在标记数据稀缺但未标记数据丰富的半监督学习场景中，该模型的性能如何？
• RQ5 该模型是否能通过识别每个分量中具有线性模式的独立数据子段，提供可解释的结果？

主要发现

• 在模拟的非线性数据上，该模型显著优于多项式logit、二次logit和决策树模型，展现出更高的灵活性和准确性。
• 在真实的蛋白质折叠分类问题中，该模型的预测准确率高于基于神经网络和支持向量机的先前方法。
• 引入蛋白质折叠的层次结构显著提升了分类准确率，证明了先验领域知识的价值。
• 当仅使用一个分量时，该模型退化为线性模型，证实其在真实关系为线性时能有效避免过拟合。
• 通过为不同数据源设置独立的尺度参数 $ \xi $，性能得到提升，尤其在结合氨基酸组成、二级结构和疏水性等特征时效果显著。
• 该模型通过利用未标记数据来指导协变量分布建模，同时依赖标记数据进行响应建模，实现了有效的半监督学习。