[论文解读] Variational Collaborative Learning for User Probabilistic Representation

Kenan Cui, Xu Chen+2 more|arXiv (Cornell University)|Sep 22, 2018

Recommender Systems and Techniques参考文献 21被引用 5

一句话总结

本文提出变分协同学习（VCM），一种深度生成模型，通过两个同步的变分自编码器（VAE）联合学习用户-项目交互数据与辅助文本数据的潜在概率用户表征。与以往采用异步互正则化的混合模型不同，VCM通过基于KL散度的概率表征匹配，实现同步、双向协同，显著提升了稀疏数据上的推荐准确率。

ABSTRACT

Collaborative filtering (CF) has been successfully employed by many modern recommender systems. Conventional CF-based methods use the user-item interaction data as the sole information source to recommend items to users. However, CF-based methods are known for suffering from cold start problems and data sparsity problems. Hybrid models that utilize auxiliary information on top of interaction data have increasingly gained attention. A few "collaborative learning"-based models, which tightly bridges two heterogeneous learners through mutual regularization, are recently proposed for the hybrid recommendation. However, the "collaboration" in the existing methods are actually asynchronous due to the alternative optimization of the two learners. Leveraging the recent advances in variational autoencoder~(VAE), we here propose a model consisting of two streams of mutual linked VAEs, named variational collaborative model (VCM). Unlike the mutual regularization used in previous works where two learners are optimized asynchronously, VCM enables a synchronous collaborative learning mechanism. Besides, the two stream VAEs setup allows VCM to fully leverages the Bayesian probabilistic representations in collaborative learning. Extensive experiments on three real-life datasets have shown that VCM outperforms several state-of-art methods.

研究动机与目标

• 通过整合辅助信息，解决协同过滤中的冷启动与数据稀疏性问题。
• 克服现有混合模型中异步互正则化方法的局限性，该方法未能充分挖掘贝叶斯表征的优势。
• 开发一种同步协同学习机制，实现在用户交互数据与辅助文本之间双向信息流动。
• 利用变分自编码器，对交互数据与辅助数据流均实现稳健的概率用户表征学习。
• 在真实世界数据集上，证明所提模型优于当前最先进混合推荐方法。

提出的方法

• 采用两个并行扩展的VAE——一个用于用户-项目交互数据（X），一个用于用户评论文本（Y）——以学习概率用户潜在表征。
• 使用变分推断近似从交互数据中获得用户潜在因子的真实后验分布，以全贝叶斯推断替代点估计。
• 引入一种同步协同学习机制，在每次训练迭代中最小化两个VAE潜在分布之间的KL散度，以对齐表征。
• 将CF中VAE的KL散度视为保留信息的上界，实现用户层面的容量控制，减少稀疏数据上的过拟合。
• 通过VAE对多样化辅助输入的灵活性，将多种模态（如文本、图像）统一整合到框架中。
• 在统一的变分下界（ELBO）下优化交互与评论数据的联合似然，支持端到端训练。

实验结果

研究问题

• RQ1 同步协同学习机制是否能在混合推荐模型中优于异步互正则化？
• RQ2 通过VAE学习概率用户表征是否能提升稀疏用户交互数据上的推荐性能？
• RQ3 交互数据与文本数据之间的双向信息流在多大程度上提升了表征质量与推荐准确率？
• RQ4 与点估计或非概率模型相比，该模型在处理交互历史有限的冷启动用户时表现如何？
• RQ5 该模型是否能在不改变架构的前提下，泛化到不同辅助数据模态（如文本、图像）？

主要发现

• VCM在三个真实世界数据集（Yelp、Amazon、MovieLens）上显著优于当前最先进模型，包括CVAE与CDL，展现出更优的推荐准确率。
• 消融研究证实，同步协同学习机制是性能提升的主要贡献因素，其表现优于仅采用单向正则化的模型。
• 该模型提升了表征质量：VCM的文本VAE因与交互VAE协同，学习到更具意义的关键词（如“素食”、“健康”），而VCM-Se（消融变体）则错误地为无关词汇分配高概率。
• CF中VAE的KL散度正则化起到容量控制器作用，防止过拟合，尤其在信号稀疏的非活跃用户上提升了泛化能力。
• 该模型在不同稀疏度水平的数据集上均表现出稳健性能，表明其具备强大的泛化能力与在真实世界冷启动场景下的可扩展性。
• 词概率的可视化结果证实，协同学习增强了两种模态中学习表征的可解释性与相关性。