[论文解读] On the Effectiveness of Sampled Softmax Loss for Item Recommendation

Jiancan Wu, Xiang Wang+4 more|arXiv (Cornell University)|Jan 7, 2022

Recommender Systems and Techniques参考文献 58被引用 13

一句话总结

本文对项目推荐中的采样Softmax（SSM）损失进行了全面的理论与实证分析，证明其在缓解流行度偏差、挖掘困难负样本以及优化排序指标方面具有优势。此外，本文揭示了SSM在调整表示向量幅度方面的局限性可通过图神经网络中的消息传递机制克服，从而在基准数据集上实现最先进性能。

ABSTRACT

The learning objective plays a fundamental role to build a recommender system. Most methods routinely adopt either pointwise or pairwise loss to train the model parameters, while rarely pay attention to softmax loss due to its computational complexity when scaling up to large datasets or intractability for streaming data. The sampled softmax (SSM) loss emerges as an efficient substitute for softmax loss. Its special case, InfoNCE loss, has been widely used in self-supervised learning and exhibited remarkable performance for contrastive learning. Nonetheless, limited recommendation work uses the SSM loss as the learning objective. Worse still, none of them explores its properties thoroughly and answers ``Does SSM loss suit for item recommendation?'' and ``What are the conceptual advantages of SSM loss, as compared with the prevalent losses?'', to the best of our knowledge. In this work, we aim to offer a better understanding of SSM for item recommendation. Specifically, we first theoretically reveal three model-agnostic advantages: (1) mitigating popularity bias; (2) mining hard negative samples; and (3) maximizing the ranking metric. However, based on our empirical studies, we recognize that the default choice of cosine similarity function in SSM limits its ability in learning the magnitudes of representation vectors. As such, the combinations of SSM with the models that also fall short in adjusting magnitudes may result in poor representations. One step further, we provide mathematical proof that message passing schemes in graph convolution networks can adjust representation magnitude according to node degree, which naturally compensates for the shortcoming of SSM. Extensive experiments on four benchmark datasets justify our analyses, demonstrating the superiority of SSM for item recommendation. Our implementations are available in both TensorFlow and PyTorch.

研究动机与目标

• 探究尽管采样Softmax（SSM）损失在推荐系统中应用有限，其在项目推荐中是否仍具有效性。
• 从理论上分析SSM损失相较于传统点对损失和成对损失的模型无关优势。
• 识别并解决SSM损失在调整表示向量幅度方面的局限性，尤其在矩阵分解等模型中。
• 证明具有消息传递机制的图神经网络（GNN）可自然弥补该缺陷。
• 在多个基准数据集和模型架构上，通过实证验证SSM损失的优越性。

提出的方法

• 理论分析证明，SSM损失通过鼓励对所有项目（包括长尾项目）的均匀注意力，有效缓解了流行度偏差。
• 理论分析表明，SSM损失在训练过程中通过聚焦于最具混淆性的负样本，天然具备挖掘困难负样本的能力。
• 理论分析建立SSM损失通过直接优化正样本相对于所有其他项目的概率，从而最大化NDCG和Recall等排序指标。
• 数学证明表明，GNN中的消息传递机制可根据节点度数调整表示向量的幅度，从而抵消SSM在幅度调整上的局限性。
• 在四个基准数据集上，采用协同过滤和基于GNN的模型，对SSM、BPR和交叉熵损失进行了实证评估。
• 代码实现以TensorFlow和PyTorch两种框架发布，以确保可复现性并供社区使用。

实验结果

研究问题

• RQ1 采样Softmax损失是否适用于项目推荐？与广泛使用的BPR和交叉熵损失相比，其在概念上有哪些优势？
• RQ2 SSM损失如何影响流行度偏差？能否提升长尾项目的推荐性能？
• RQ3 为何某些模型在与SSM损失结合时会失效？其根本原因是什么？
• RQ4 图神经网络能否弥补SSM损失在幅度调整上的缺陷？
• RQ5 SSM损失与GNN的结合是否能在标准推荐基准上带来性能提升？

主要发现

• SSM损失显著降低了流行度偏差，从而在所有四个基准数据集上均提升了长尾项目的推荐性能。
• SSM损失天然挖掘困难负样本，提供更具信息量的梯度，从而提升模型泛化能力。
• SSM损失直接优化NDCG和Recall@K等排序指标，相较于点对或成对损失，更契合真实推荐任务的目标。
• SSM损失在矩阵分解等模型中失效的根本原因在于这些模型无法调整表示向量的幅度，而SSM本身无法纠正此问题。
• GNN中的消息传递机制可基于节点度数自然调整表示向量的幅度，有效弥补SSM的局限性，从而实现更优性能。
• 实证结果表明，SSM损失与GNN结合在所有数据集和评估指标上均优于BPR和交叉熵基线模型，尤其在Top-K排序性能上表现突出。