[论文解读] Variational Autoencoders for Collaborative Filtering

Dawen Liang, Rahul G. Krishnan+2 more|arXiv (Cornell University)|Feb 16, 2018

Recommender Systems and Techniques参考文献 46被引用 66

一句话总结

本论文将变分自编码器扩展到隐式反馈的协同过滤，采用 multinomial 似然和 beta 正则化目标，在真实数据集上实现了最先进的结果。

ABSTRACT

We extend variational autoencoders (VAEs) to collaborative filtering for implicit feedback. This non-linear probabilistic model enables us to go beyond the limited modeling capacity of linear factor models which still largely dominate collaborative filtering research.We introduce a generative model with multinomial likelihood and use Bayesian inference for parameter estimation. Despite widespread use in language modeling and economics, the multinomial likelihood receives less attention in the recommender systems literature. We introduce a different regularization parameter for the learning objective, which proves to be crucial for achieving competitive performance. Remarkably, there is an efficient way to tune the parameter using annealing. The resulting model and learning algorithm has information-theoretic connections to maximum entropy discrimination and the information bottleneck principle. Empirically, we show that the proposed approach significantly outperforms several state-of-the-art baselines, including two recently-proposed neural network approaches, on several real-world datasets. We also provide extended experiments comparing the multinomial likelihood with other commonly used likelihood functions in the latent factor collaborative filtering literature and show favorable results. Finally, we identify the pros and cons of employing a principled Bayesian inference approach and characterize settings where it provides the most significant improvements.

研究动机与目标

• 将变分自编码器扩展到隐式反馈的协同过滤。
• 采用 multinomial 似然更好地建模点击数据与排序损失。
• 引入带退火的 beta 正则化 ELBO 以提升性能。
• 将 multinomial VAE 与高斯和逻辑回归基线进行比较，并分析贝叶斯推断的优势。

提出的方法

• 生成模型：潜在变量 z_u ~ N(0,I) 通过非线性函数 f_theta 映射到对 I 个物品的概率分布，然后 x_u ~ Mult(N_u, pi(z_u))。
• 推断：摊销变分后验 q_phi(z_u|x_u) ~ N(mu_phi(x_u), diag(sigma_phi^2(x_u))).
• 优化：使用重参数化技巧最大化证据下界 ELBO 的梯度；引入 beta 来正则化 KL 项。
• Beta 正则化目标：L_beta = E_q[log p_theta(x_u|z_u)] - beta * KL(q_phi(z_u|x_u)||p(z_u)); 将 beta 从 0 退火到 1 以改善训练。
• 预测：使用 z_u = mu_phi(x_u)（或 Mult-DAE 中编码器得到的 z）对未归一化的 multinomial 概率对物品进行排序。
• 注：考虑大规模物品集的计算问题，并将该方法与自编码器分类法联系起来。

实验结果

研究问题

• RQ1 在隐式反馈数据中，multinomial 似然是否能在排名导向的评估中优于高斯和逻辑似然？
• RQ2 带 KL 退火的 beta 正则化 VAE 能否在协同过滤中获得比标准 VAE 训练更好的排名指标？
• RQ3 Mult-VAE-pr 与去噪自编码器及其他神经 CF 方法在真实数据集上的比较如何？
• RQ4 在推荐中，显式不确定性建模（Mult-VAE-pr）与确定性编码器（Mult-DAE）之间有哪些权衡？

主要发现

数据集	ML-20M	Netflix	MSD
# 用户数	136,677	463,435	571,355
# 物品数	20,108	17,769	41,140
# 互动数	10.0M	56.9M	33.6M
% 交互占比	0.36%	0.69%	0.14%
# 保留用户数	10,000	40,000	50,000

• Mult-VAE-pr 在若干真实世界数据集上相较于包括最近的神经网络方法在内的基线方法实现了最先进的结果。
• 在该设置中，multinomial 似然在隐式反馈任务上始终优于高斯和逻辑似然。
• 无论是 Mult-VAE-pr 还是 Mult-DAE 都具有竞争力的性能，显式的不确定性建模在某些情形下具有优势。
• Beta 退火对于避免潜在空间的利用不足至关重要，并带来显著的性能提升；通常最佳结果是先退火再选择验证指标的峰值。
• 该方法与信息理论思想（信息瓶颈、最大熵判别）相关，并且在数据稀疏下仍然具有鲁棒性。