[论文解读] Multiple Output Regression with Latent Noise

Jussi Gillberg, Pekka Marttinen+8 more|Explore Bristol Research|Oct 27, 2014

Machine Learning in Materials Science被引用 8

一句话总结

本文提出了一种贝叶斯降秩回归模型，通过在信号与噪声之间共享潜在因子，联合建模结构化噪声与微弱信号，从而在相关目标之间实现强度的自动借用。该方法通过引入潜在信噪比超参数和有序无限维收缩先验，解决了降秩模型中的旋转不可识别性问题，在高维数据中微弱效应显著时，预测精度优于现有最先进方法。

ABSTRACT

In high-dimensional data, structured noise caused by observed and unobserved factors affecting multiple target variables simultaneously, imposes a serious challenge for modeling, by masking the often weak signal. Therefore, (1) explaining away the structured noise in multiple-output regression is of paramount importance. Additionally, (2) assumptions about the correlation structure of the regression weights are needed. We note that both can be formulated in a natural way in a latent variable model, in which both the interesting signal and the noise are mediated through the same latent factors. Under this assumption, the signal model then borrows strength from the noise model by encouraging similar effects on correlated targets. We introduce a hyperparameter for the \emph{latent signal-to-noise ratio} which turns out to be important for modelling weak signals, and an ordered infinite-dimensional shrinkage prior that resolves the rotational unidentifiability in reduced-rank regression models. Simulations and prediction experiments with metabolite, gene expression, FMRI measurement, and macroeconomic time series data show that our model equals or exceeds the state-of-the-art performance and, in particular, outperforms the standard approach of assuming independent noise and signal models.

研究动机与目标

• 为解决由混杂因素同时影响多个目标而引起的结构化噪声问题，在高维回归中隐藏了微弱但有意义的信号。
• 克服标准模型假设噪声与信号结构独立的局限性，当噪声较强且具有结构时，此类假设会降低性能。
• 构建一个统一框架，使信号与噪声通过相同的潜在因子进行中介，实现在相关目标之间的信息共享。
• 引入潜在信噪比超参数以增强对微弱效应的学习能力，并采用有序收缩先验以解决降秩模型中的旋转不可识别性问题。
• 证明通过共享潜在结构联合建模噪声与信号，优于分别建模噪声与信号，尤其在真实世界的组学和时间序列数据中表现更优。

提出的方法

• 该模型假设一种联合潜在结构，其中信号（回归系数）与噪声（结构化依赖）均通过相同的潜在因子进行中介，从而实现共享学习。
• 采用回归系数矩阵的低秩分解：Θ = ΨΓ，其中 Ψ ∈ ℝ^{P×S₁} 且 Γ ∈ ℝ^{S₁×K}，以降低模型复杂度。
• 引入潜在信噪比超参数，以自适应地平衡信号与噪声的影响，这对检测微弱效应至关重要。
• 对因子载荷 Γ 应用有序无限维收缩先验，以解决降秩模型中的旋转不可识别性问题。
• 将模型表述为具有条件共轭先验的层次贝叶斯模型，通过 MCMC 或变分方法实现高效的后验推断。
• 通过使用低秩噪声结构，将随机效应数量从 NK 减少到 NS₁，从而在高维目标场景下实现可扩展性，推广了线性混合模型（LMMs）。

实验结果

研究问题

• RQ1 通过共享潜在因子联合建模结构化噪声与信号，是否能提升在微弱效应下的多输出回归预测性能？
• RQ2 潜在信噪比超参数的引入，在高维、高噪声数据中对模型性能有何影响？
• RQ3 有序无限维收缩先验是否能解决降秩贝叶斯回归模型中的旋转不可识别性问题？
• RQ4 通过共享潜在结构联合建模信号与噪声所带来的性能提升，是否大于分别建模噪声与信号的方法？
• RQ5 在同时存在潜在和独立结构化噪声的真实世界数据中，是否同时建模两者有益，还是由于可识别性问题导致性能下降？

主要发现

• 所提出的潜在噪声 BRRR 模型在所有测试数据集（包括代谢组学、基因表达、fMRI 和宏观时间序列）中均优于标准独立噪声 BRRR 模型。
• 潜在信噪比超参数对最优性能至关重要，尤其在高维数据中检测微弱信号时表现显著。
• 有序无限维收缩先验成功解决了降秩模型中的旋转不可识别性问题，提升了模型稳定性和可解释性。
• 模拟实验与真实数据实验表明，通过共享潜在结构联合建模信号与噪声，始终优于分别建模的方法。
• 在单一模型中同时包含潜在和独立结构化噪声会降低性能，可能由于可识别性较差，表明仅建模主导噪声类型已足够且更优。