[论文解读] Nonlinear Statistical Learning with Truncated Gaussian Graphical Models

Qinliang Su, Xuejun Liao+2 more|arXiv (Cornell University)|Jun 2, 2016

Gaussian Processes and Bayesian Inference参考文献 28被引用 9

一句话总结

该论文提出了一种截断高斯图模型（TGGM），这是一种新颖的框架，通过截断高斯图模型中的潜变量来诱导非线性统计依赖关系。通过积分掉这些截断的潜变量，观测变量的边缘分布变为非高斯分布，具有非线性关系，从而可通过期望最大化算法实现高效推断，并在基准回归与分类任务中优于基于ReLU的神经网络。

ABSTRACT

We introduce the truncated Gaussian graphical model (TGGM) as a novel framework for designing statistical models for nonlinear learning. A TGGM is a Gaussian graphical model (GGM) with a subset of variables truncated to be nonnegative. The truncated variables are assumed latent and integrated out to induce a marginal model. We show that the variables in the marginal model are non-Gaussian distributed and their expected relations are nonlinear. We use expectation-maximization to break the inference of the nonlinear model into a sequence of TGGM inference problems, each of which is efficiently solved by using the properties and numerical methods of multivariate Gaussian distributions. We use the TGGM to design models for nonlinear regression and classification, with the performances of these models demonstrated on extensive benchmark datasets and compared to state-of-the-art competing results.

研究动机与目标

• 为解决高斯图模型（GGMs）固有的线性问题，后者限制了其对真实世界数据中复杂非线性依赖关系的建模能力。
• 开发一种可处理的非线性模型，保留高斯分布的计算优势，同时通过潜变量截断实现非高斯、非线性边缘分布。
• 通过利用期望最大化算法和多元高斯分布的成熟数值特性，实现对非线性模型的高效推断。
• 在非线性回归与分类等实际机器学习任务中，证明TGGM的有效性，其性能优于最先进方法。

提出的方法

• 通过在标准GGM中对潜变量施加非负性约束，引入截断高斯图模型（TGGM），将联合分布转化为截断多元高斯分布。
• 积分掉截断的潜变量，得到观测变量上的非高斯边缘分布，从而诱导非线性统计依赖关系。
• 使用期望最大化（EM）算法将推断分解为一系列可处理的TGGM推断问题，每个问题均可通过成熟的多元高斯方法求解。
• 利用底层GGM的精度矩阵来编码条件依赖结构，从而支持灵活的模型设计以适应多样化应用。
• 采用反向传播（TGGM-BP）和最大似然估计（TGGM-ML）两种方式训练TGGM，后者在截断高斯假设下提供更优的似然估计。
• 构建具有一层或两层隐藏层的深层TGGM架构，利用截断诱导的类似ReLU的激活行为，并在标准基准数据集上进行评估。

实验结果

研究问题

• RQ1 在高斯图模型中截断潜变量是否能产生观测变量上的非线性边缘分布？
• RQ2 所得到的TGGM框架是否能通过EM算法和现有多元高斯技术实现高效且可处理的推断？
• RQ3 基于TGGM的模型在非线性回归与分类任务中的性能与最先进深度神经网络（特别是ReLU网络）相比如何？
• RQ4 在截断高斯假设下，最大似然估计是否在TGGM中优于反向传播？
• RQ5 TGGM能否扩展至深层架构，并有效应用于真实世界基准数据集？

主要发现

• 在20 Newsgroups和Blog数据集上，TGGM-BP的测试准确率分别达到73.65%和67.50%，高于ReLU网络的72.8%和65.86%。
• TGGM-ML在两隐藏层模型下于MNIST数据集上达到98.31%的准确率，优于最佳ReLU结果98.04%。
• 在Blog数据集上，TGGM-ML在一隐藏层模型下达到69.89%的准确率，超过最佳ReLU结果67.93%。
• TGGM框架通过潜变量截断诱导出非高斯、非线性的边缘分布，实现了比标准GGM更丰富的建模能力。
• 基于EM的推断框架通过利用成熟的高斯方法将问题分解为可处理的TGGM推断步骤，实现了高效学习。
• 具有深层架构和学习得到的精度矩阵的TGGM可被视为具有类似ReLU激活函数的确定性神经网络，解释了其优异的实验性能。