[论文解读] Multivariate Gaussian and Student-t Process Regression for Multi-output Prediction and Stock Market Modelling

Zexun Chen, Bo Wang+1 more|arXiv (Cornell University)|Mar 13, 2017

Grey System Theory Applications被引用 1

一句话总结

本文提出了一种统一的多变量高斯过程与学生t分布过程回归框架（MV-GPR 和 MV-TPR），实现了边缘似然和预测分布的闭式表达，克服了以往重参数化方法的局限性。该方法在空气质量、自行车租赁和股票市场数据的多输出预测中表现优异，其中 MV-TPR 展现出更优性能，并生成了具有盈利性的投资策略。

ABSTRACT

Gaussian process model for vector-valued function has been shown to be useful for multi-output prediction. The existing method for this model is to re-formulate the matrix-variate Gaussian distribution as a multivariate normal distribution. Although it is effective in many cases, re-formulation is not always workable and is difficult to apply to other distributions because not all matrix-variate distributions can be transformed to respective multivariate distributions, such as the case for matrix-variate Student$-t$ distribution. In this paper, we propose a unified framework which is used not only to introduce a novel multivariate Student$-t$ process regression model (MV-TPR) for multi-output prediction, but also to reformulate the multivariate Gaussian process regression (MV-GPR) that overcomes some limitations of the existing methods. Both MV-GPR and MV-TPR have closed-form expressions for the marginal likelihoods and predictive distributions under this unified framework and thus can adopt the same optimization approaches as used in the conventional GPR. The usefulness of the proposed methods is illustrated through several simulated and real data examples. In particular, we verify empirically that MV-TPR has superiority for the datasets considered, including air quality prediction and bike rent prediction. At last, the proposed methods are shown to produce profitable investment strategies in the stock markets.

研究动机与目标

• 解决现有矩阵变量子高斯过程方法依赖将矩阵变量子分布重参数化为多变量形式的局限，而此类方法对所有分布均不适用。
• 开发一种统一框架，支持无需重参数化的多变量高斯与学生t过程，用于多输出回归。
• 在与传统高斯过程回归相同的优化框架下，为 MV-GPR 和 MV-TPR 提供边缘似然和预测分布的闭式表达。
• 通过模拟和真实世界数据集（特别是空气质量、自行车租赁和金融时间序列预测）实证验证所提模型。
• 通过在股票市场数据中生成具有盈利性的投资策略，证明模型的实际应用价值。

提出的方法

• 提出一种统一框架，将多变量高斯与学生t过程均视为矩阵变量子分布，无需转换为多变量形式。
• 在新框架下推导出 MV-GPR 和 MV-TPR 的边缘似然与预测分布的闭式表达式。
• 采用与标准高斯过程回归相同的优化技术，实现高效的超参数学习。
• 通过将联合输出建模为具有结构化协方差核的单一向量值函数，将该框架应用于多输出预测任务。
• 采用矩阵变量子学生t分布以建模重尾噪声，提升在异常值存在下的鲁棒性。
• 对 MV-GPR 和 MV-TPR 使用相同的核结构，确保在不同分布间的一致建模与比较。

实验结果

研究问题

• RQ1 能否开发一种统一框架，无需依赖矩阵变量子分布的重参数化，来同时建模多变量高斯与学生t过程？
• RQ2 在具有重尾噪声或异常值的多输出预测任务中，所提出的 MV-TPR 模型是否优于 MV-GPR？
• RQ3 所提框架中的闭式表达是否能支持与标准 GPR 相当的高效优化与推断？
• RQ4 鉴于其对重尾收益的鲁棒性，MV-TPR 模型能否在股票市场数据中生成具有盈利性的投资策略？
• RQ5 与现有方法相比，所提模型在真实世界数据集（如空气质量与自行车租赁预测）中的表现如何？

主要发现

• 所提统一框架为 MV-GPR 和 MV-TPR 均实现了边缘似然与预测分布的闭式表达，支持高效优化。
• 在空气质量与自行车租赁预测数据集上，MV-TPR 表现优于 MV-GPR，尤其在处理重尾噪声方面更具优势。
• 该框架避免了以往重参数化方法的局限，尤其适用于无法转换为多变量形式的分布（如矩阵变量子学生t分布）。
• 实证结果表明，MV-TPR 在异常值存在时能产生更鲁棒的预测，证实其在真实世界多输出回归中的适用性。
• 所提模型在股票市场数据中生成了具有盈利性的投资策略，表明其在标准回归任务之外具有实际应用价值。
• 在新框架下，传统 GPR 所用的相同优化方法可直接应用于 MV-GPR 与 MV-TPR，确保计算效率。