[论文解读] Prior and Likelihood Choices for Bayesian Matrix Factorisation on Small Datasets

Thomas Brouwer, Píetro Lió|arXiv (Cornell University)|Dec 1, 2017

Bayesian Methods and Mixture Models被引用 6

一句话总结

本文系统评估了小样本数据下贝叶斯矩阵分解中先验与似然选择的影响，对比了四类模型组：高斯似然与实值或非负先验、半非负模型，以及泊松似然模型。研究发现，由于收敛性差和过拟合问题，泊松模型在小样本数据上表现较差；而非负模型在稀疏性和噪声方面表现出更强的鲁棒性；层级先验在高维因子分解中显著提升了泛化能力。

ABSTRACT

In this paper, we study the effects of different prior and likelihood choices for Bayesian matrix factorisation, focusing on small datasets. These choices can greatly influence the predictive performance of the methods. We identify four groups of approaches: Gaussian-likelihood with real-valued priors, nonnegative priors, semi-nonnegative models, and finally Poisson-likelihood approaches. For each group we review several models from the literature, considering sixteen in total, and discuss the relations between different priors and matrix norms. We extensively compare these methods on eight real-world datasets across three application areas, giving both inter- and intra-group comparisons. We measure convergence runtime speed, cross-validation performance, sparse and noisy prediction performance, and model selection robustness. We offer several insights into the trade-offs between prior and likelihood choices for Bayesian matrix factorisation on small datasets - such as that Poisson models give poor predictions, and that nonnegative models are more constrained than real-valued ones.

研究动机与目标

• 解决在小样本数据上，不同先验与似然选择的贝叶斯矩阵分解模型之间缺乏系统性比较的问题。
• 识别并评估四类不同的模型组：实值/高斯、非负/高斯、半非负/高斯，以及泊松似然模型。
• 在多样化的现实世界数据集上，评估预测性能、收敛速度、对稀疏性和噪声的鲁棒性，以及模型选择的稳定性。
• 为小样本场景下的模型选择提供可操作的见解，尤其适用于生物信息学、药物反应和协同过滤等应用。
• 通过聚焦参数化模型，排除推断依赖性能的复杂非参数变体，隔离似然与先验选择的影响。

提出的方法

• 在四组模型中系统比较16种贝叶斯矩阵分解模型：实值/高斯、非负/高斯、半非负/高斯，以及泊松似然模型。
• 使用变分推理或马尔可夫链蒙特卡洛方法近似因子矩阵的后验分布，必要时采用共轭先验。
• 采用一系列层级先验（包括自动相关性确定（ARD）、Wishart、拉普拉斯和伽马超先验）以评估其对过拟合和泛化能力的影响。
• 在来自三个领域的八个真实世界数据集上进行交叉验证：药物敏感性（GDSC）、协同过滤（MovieLens）和甲基化表达（GM数据集）。
• 在受控条件下测量性能：变化噪声水平、数据稀疏度和因子分解秩 $K$，以均方误差（MSE）为主要指标。
• 通过调整 $K$ 并在保留的测试集上评估预测性能，开展模型选择实验，以评估过拟合倾向。

实验结果

研究问题

• RQ1 在小样本数据的贝叶斯矩阵分解中，不同的似然函数（高斯与泊松）如何影响预测性能？
• RQ2 先验分布（实值、非负、层级）对小样本设置下模型收敛性、对噪声的鲁棒性以及过拟合的影响如何？
• RQ3 在稀疏性和噪声条件下，半非负模型与全实值模型在预测准确性和稳定性方面如何比较？
• RQ4 随着因子分解秩 $K$ 增加，ARD、Wishart 或拉普拉斯等层级先验在多大程度上改善了模型泛化能力并减少过拟合？
• RQ5 在小样本数据的贝叶斯矩阵分解中，单变量与多变量后验近似在预测性能上是否等价？

主要发现

• 与高斯似然模型相比，泊松似然模型在小样本数据上表现始终较差，表现出更差的交叉验证性能、对噪声更高的敏感性以及更慢的收敛速度，尤其在低稀疏度水平下更为明显。
• 非负矩阵分解模型比实值模型更具约束性，导致收敛更平缓，且在高稀疏性下过拟合更少，但通过适当的层级先验（如Wishart或ARD）可有效缩小这一差距。
• 半非负模型（如GEG、GVnG）在预测性能上与其实值对应模型（如GGG、GVG）表现一致，表明部分非负约束既无显著优势也无明显劣势。
• 单变量与多变量后验近似在预测性能上等价，表明在此情境下建模完整的协方差结构并不能提升准确性。
• ARD和Wishart等层级先验在因子分解秩 $K$ 增加时显著减少过拟合，在高维设置下保持稳定性能；而标准模型如GGG和GEE则迅速过拟合。
• 拉普拉斯先验也能有效减少过拟合，且无需额外的层级结构；部分层级先验（如GLLI、GTTN、PGGG）表现差异极小，表明实际应用中对超参数调优的敏感性较低。