[论文解读] Multi-view Learning as a Nonparametric Nonlinear Inter-Battery Factor Analysis

Andreas Damianou, Neil D. Lawrence+1 more|arXiv (Cornell University)|Apr 17, 2016

Gaussian Processes and Bayesian Inference参考文献 41被引用 7

一句话总结

本文提出了一种非参数化、非线性的多视图学习框架，通过将多视图数据建模为基于高斯过程潜在变量模型（GP-LVM）的非参数化非线性互电池因子分析。该方法利用贝叶斯变分推理方案实现自动正则化，能够在仅少量数据的情况下实现灵活的表征学习，在探索性分析、生成、模糊性建模和分类任务中均取得当前最优性能。

ABSTRACT

Factor analysis aims to determine latent factors, or traits, which summarize a given data set. Inter-battery factor analysis extends this notion to multiple views of the data. In this paper we show how a nonlinear, nonparametric version of these models can be recovered through the Gaussian process latent variable model. This gives us a flexible formalism for multi-view learning where the latent variables can be used both for exploratory purposes and for learning representations that enable efficient inference for ambiguous estimation tasks. Learning is performed in a Bayesian manner through the formulation of a variational compression scheme which gives a rigorous lower bound on the log likelihood. Our Bayesian framework provides strong regularization during training, allowing the structure of the latent space to be determined efficiently and automatically. We demonstrate this by producing the first (to our knowledge) published results of learning from dozens of views, even when data is scarce. We further show experimental results on several different types of multi-view data sets and for different kinds of tasks, including exploratory data analysis, generation, ambiguity modelling through latent priors and classification.

研究动机与目标

• 解决在数据有限情况下，从多个数据视图（模态）中学习鲁棒、低维表征的挑战。
• 通过引入具有合理正则化的贝叶斯非参数框架，克服传统因子分析中的不可识别性问题。
• 利用高斯过程将互电池因子分析扩展至非线性、非参数设置，提升建模灵活性与可解释性。
• 实现在数十个视图上的高效推理与表征学习，这一能力在以往的公开研究中尚未实现。

提出的方法

• 将多视图学习建模为基于高斯过程潜在变量模型（GP-LVM）的核心生成机制的非参数化、非线性互电池因子分析。
• 采用变分压缩方案推导对数似然的严格下界，实现贝叶斯推理与正则化。
• 构建多个视图的联合概率模型，其中每个视图通过GP先验从共享的低维潜在空间映射而来。
• 通过在潜在变量和诱导点上采用因子化变分后验进行近似贝叶斯推理，实现可扩展的计算。
• 提出一种预测框架，利用矩匹配近似方法计算输出的后验矩（均值与协方差），实现高效的自顶向下生成。
• 利用跨数据点的可分解统计量（ψ, Ψ, Φ）在推理过程中重用训练阶段的计算，降低计算成本。

实验结果

研究问题

• RQ1 非参数化、非线性的互电池因子分析扩展是否能以高灵活性和对数据稀缺的强鲁棒性有效建模多视图数据？
• RQ2 贝叶斯变分推理如何应用于多视图GP-LVM，以确保潜在空间中强正则化与自动结构发现？
• RQ3 所提出的框架是否能在数据有限的情况下，从数十个视图中学习有意义的表征，并在多视图任务中超越现有方法？
• RQ4 该模型在统一框架下支持探索性数据分析、生成、模糊性建模与分类等多种任务的程度如何？

主要发现

• 该模型首次在多视图设置下实现了从数十个视图中学习的结果，即使在数据稀缺条件下也表现优异。
• 贝叶斯变分推理框架提供了强正则化，实现无需人工调参的自动、高效潜在空间结构发现。
• 模型在探索性数据分析中表现出色，能够揭示多样数据类型中的有意义、低维表征。
• 通过学习捕捉多视图数据中不确定性的信息性潜在先验，实现了有效的模糊性建模。
• 该框架在生成与分类任务中表现优异，经多个数据集与模态验证，性能具有竞争力。
• 由于在推理中重用了训练阶段的可分解统计量，预测推理计算效率高，支持可扩展部署。