[论文解读] Nonseparable Gaussian Stochastic Process: A Unified View and Computational Strategy

Mengyang Gu, Yanxun Xu|arXiv (Cornell University)|Nov 30, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 30被引用 3

一句话总结

本文提出了一种统一的、不可分的高斯随机过程（GaSP）模型，通过采用一种新颖的计算策略，实现了精确的线性时间（$O(n)$）似然计算——绕过了标准的$O(n^3)$瓶颈。该方法推广了线性回归和可分模型，且在预测全基因组DNA甲基化水平方面，相较于随机森林和局部克里金法等方法表现出更优的准确性。

ABSTRACT

Gaussian stochastic process (GaSP) has been widely used as a prior over functions due to its flexibility and tractability in modeling. However, the computational cost in evaluating the likelihood is $O(n^3)$, where $n$ is the number of observed points in the process, as it requires to invert the covariance matrix. This bottleneck prevents GaSP being widely used in large-scale data. We propose a general class of nonseparable GaSP models for multiple functional observations with a fast and exact algorithm, in which the computation is linear ($O(n)$) and exact, requiring no approximation to compute the likelihood. We show that the commonly used linear regression and separable models are special cases of the proposed nonseparable GaSP model. Through the study of an epigenetic application, the proposed nonseparable GaSP model can accurately predict the genome-wide DNA methylation levels and compares favorably to alternative methods, such as linear regression, random forests and localized Kriging method.

研究动机与目标

• 解决高斯随机过程（GaSP）的高计算成本问题，其计算复杂度因协方差矩阵求逆而达到$O(n^3)$。
• 构建一个统一的不可分GaSP模型框架，使线性回归和可分模型可作为其特例被包含在内。
• 实现在线性时间（$O(n)$）内的精确似然评估，无需近似，从而支持大规模功能数据分析。
• 在表观遗传数据上展示该模型在预测全基因组DNA甲基化水平方面的有效性。

提出的方法

• 提出一类通用的不可分GaSP模型，允许在多个功能输入之间灵活建模依赖结构。
• 通过利用协方差矩阵的结构特性，设计一种快速且精确的似然计算算法。
• 采用一种避免矩阵求逆的计算策略，通过低秩或分层分解实现$O(n)$复杂度。
• 将模型整合进贝叶斯框架，以支持完整的后验推断和不确定性量化。
• 通过避免随机近似或变分界，确保方法的精确性。
• 将模型应用于多维功能数据，特别是在表观遗传基因组学中，以捕捉复杂的时空与功能依赖关系。

实验结果

研究问题

• RQ1 是否可以构建一种不可分GaSP模型，使其在单一框架下统一线性回归和可分模型？
• RQ2 是否可能在不使用近似的情况下，实现在线性时间（$O(n)$）内计算不可分GaSP模型的似然？
• RQ3 与现有方法相比，所提出的模型在预测全基因组DNA甲基化水平方面的表现如何？
• RQ4 在具有复杂依赖结构的功能数据中，不可分性对预测准确率有何影响？

主要发现

• 所提出的不可分GaSP模型实现了$O(n)$时间内的精确似然计算，彻底消除了标准GaSP的$O(n^3)$计算瓶颈。
• 该模型同时推广了线性回归和可分GaSP模型，体现了其统一框架的强大能力。
• 在一项表观遗传应用中，该模型在预测全基因组DNA甲基化水平方面优于线性回归、随机森林和局部克里金法。
• 该方法实现了大规模功能数据的可扩展贝叶斯推断，使GaSP在高维基因组应用中具备可行性。