[论文解读] Wasserstein Autoencoders for Collaborative Filtering

Jingbin Zhong, Xiaofeng Zhang|arXiv (Cornell University)|Sep 15, 2018

Recommender Systems and Techniques参考文献 23被引用 3

一句话总结

该论文提出了一种用于隐式反馈协同过滤的自适应Wasserstein自编码器（aWAE），通过引入互信息损失和L1正则化，提升了潜在空间的质量与稀疏性，从而增强模型性能。在ML-20M、Netflix和LASTFM数据集上的实验表明，aWAE在Recall@1、Recall@5和NDCG@10指标上均优于Mult-VAE、Mult-DAE、CDAE和Slim，展现出更优的推荐准确率。

ABSTRACT

The recommender systems have long been investigated in the literature. Recently, users' implicit feedback like `click' or `browse' are considered to be able to enhance the recommendation performance. Therefore, a number of attempts have been made to resolve this issue. Among them, the variational autoencoders (VAE) approach already achieves a superior performance. However, the distributions of the encoded latent variables overlap a lot which may restrict its recommendation ability. To cope with this challenge, this paper tries to extend the Wasserstein autoencoders (WAE) for collaborative filtering. Particularly, the loss function of the adapted WAE is re-designed by introducing two additional loss terms: (1) the mutual information loss between the distribution of latent variables and the assumed ground truth distribution, and (2) the L1 regularization loss introduced to restrict the encoded latent variables to be sparse. Two different cost functions are designed for measuring the distance between the implicit feedback data and its re-generated version of data. Experiments are valuated on three widely adopted data sets, i.e., ML-20M, Netflix and LASTFM. Both the baseline and the state-of-the-art approaches are chosen for the performance comparison which are Mult-DAE, Mult-VAE, CDAE and Slim. The performance of the proposed approach outperforms the compared methods with respect to evaluation criteria Recall@1, Recall@5 and NDCG@10, and this demonstrates the efficacy of the proposed approach.

研究动机与目标

• 为解决变分自编码器（VAEs）在协同过滤中潜在变量分布显著重叠的问题，从而降低推荐性能。
• 首次将Wasserstein自编码器（WAEs）适配至协同过滤任务，利用最优传输理论实现更优的潜在空间分布对齐。
• 通过引入L1正则化，增强模型泛化能力并处理数据稀疏性，以在编码后的潜在变量中强制实现稀疏性。
• 通过设计两种新颖的损失函数，包括考虑未点击项目的多项式损失，提升重建保真度。
• 在大规模真实推荐数据集上验证所提方法相较于最先进基线模型的优越性。

提出的方法

• 提出一种新型aWAE损失函数，结合重建损失、潜在分布与先验分布之间的互信息损失，以及L1正则化，以促进稀疏性。
• 引入样本均值-方差（SMV）方法，近似潜在分布与先验分布之间的Wasserstein距离，替代原始的GAN式判别器。
• 采用改进的变分推断学习框架，结合ADMM求解约束优化问题，实现深度网络参数与正则化项的独立学习。
• 设计两种不同的损失函数：一种基于均方误差，另一种为多项式损失，显式建模未点击项目，以提升训练稳定性和性能。
• 使用重参数化变分推断优化编码器与解码器网络端到端学习，同时通过最优传输方法施加分布约束。
• 应用ADMM优化L1正则化项，实现网络权重与正则化参数学习的解耦。

实验结果

研究问题

• RQ1 Wasserstein自编码器能否被有效适配至隐式反馈的协同过滤任务中，从而超越现有基于VAE的方法？
• RQ2 在潜在分布与先验分布之间引入互信息损失，对学习表示的质量与解耦程度有何影响？
• RQ3 对潜在变量施加L1正则化在稀疏真实世界数据集上，能在多大程度上提升稀疏性与推荐性能？
• RQ4 设计用于建模未点击项目的多项式损失函数，是否能带来比标准重建损失更快的收敛速度与更优性能？
• RQ5 在Recall与NDCG指标上，所提出的aWAE相较于Mult-VAE、Mult-DAE、CDAE和Slim等最先进模型表现如何？

主要发现

• 所提出的aWAE在所有三个数据集（ML-20M、Netflix、LASTFM）上均取得了Recall@1、Recall@5和NDCG@10的最佳性能，优于Mult-VAE、Mult-DAE、CDAE和Slim。
• 在LASTFM数据集上，aWAE在五项评估指标中表现最佳，在两项中位列第二，展现出强大的泛化能力。
• 互信息损失在不同超参数设置下表现稳定，最优性能出现在α=0.3时，表明对超参数选择具有鲁棒性。
• 多项式损失函数通过显式建模未点击项目，实现了更快的收敛速度，并显著提升了模型性能，而这类项目在标准自编码器中常被忽略。
• SMV方法在近似Wasserstein距离方面提供了稳定且有效的替代方案，替代GAN式判别器，改善了分布对齐效果。
• aWAE在Recall@20和Recall@50上的表现与Mult-VAE相当（例如，0.441 vs. 0.444），表明在推荐较大项目集合时仍具备强大性能。