[论文解读] NISER: Normalized Item and Session Representations to Handle Popularity Bias

Priyanka Gupta, D. Garg+3 more|arXiv (Cornell University)|Sep 10, 2019

Speech Recognition and Synthesis参考文献 13被引用 28

一句话总结

本文提出 NISER，一种会话推荐模型，通过将物品和会话图嵌入归一化至单位超球面，缓解图神经网络（GNN）系统中的流行度偏差。通过优化余弦相似度而非内积，NISER 显著提升了长尾及新引入物品的推荐性能，在三个基准数据集上取得最先进结果，同时降低了对热门物品的偏好。

ABSTRACT

The goal of session-based recommendation (SR) models is to utilize the information from past actions (e.g. item/product clicks) in a session to recommend items that a user is likely to click next. Recently it has been shown that the sequence of item interactions in a session can be modeled as graph-structured data to better account for complex item transitions. Graph neural networks (GNNs) can learn useful representations for such session-graphs, and have been shown to improve over sequential models such as recurrent neural networks [14]. However, we note that these GNN-based recommendation models suffer from popularity bias: the models are biased towards recommending popular items, and fail to recommend relevant long-tail items (less popular or less frequent items). Therefore, these models perform poorly for the less popular new items arriving daily in a practical online setting. We demonstrate that this issue is, in part, related to the magnitude or norm of the learned item and session-graph representations (embedding vectors). We propose a training procedure that mitigates this issue by using normalized representations. The models using normalized item and session-graph representations perform significantly better: i. for the less popular long-tail items in the offline setting, and ii. for the less popular newly introduced items in the online setting. Furthermore, our approach significantly improves upon existing state-of-the-art on three benchmark datasets.

研究动机与目标

• 解决 GNN 基于的会话推荐模型中的流行度偏差问题，即由于物品频率分布倾斜，导致热门物品被过度代表。
• 探究对物品和会话图嵌入的 L2 范数进行归一化是否能减少偏差并提升长尾和新引入物品的性能。
• 开发一种训练过程，使表示在训练和推理阶段均被约束在单位超球面上，以增强公平性和泛化能力。
• 证明归一化表示在离线和在线推荐设置中的有效性，尤其针对低频和新物品。
• 通过改进现有 GNN 基于模型（如 SR-GNN）实现会话推荐的新最先进水平。

提出的方法

• 提出 NISER 模型，将物品和会话图嵌入的 L2 范数归一化为单位长度，强制表示位于单位超球面上。
• 在训练目标中用余弦相似度替代标准内积损失，以减少嵌入范数差异带来的偏差。
• 将位置嵌入整合进 GNN 架构中，以在保持基于图的消息传递的同时保留序列顺序信息。
• 对物品嵌入应用 Dropout 以提升泛化能力并减少过拟合，尤其在新物品数据量较少的情况下。
• 使用对比学习目标进行模型训练，鼓励会话图表示与下一次点击物品的表示对齐。
• 采用两阶段训练流程：首先在归一化 L2 约束下预训练嵌入，然后使用包含位置嵌入和 Dropout 组件的完整损失函数进行微调。

实验结果

研究问题

• RQ1 对物品和会话图嵌入的 L2 范数进行归一化，是否能减少 GNN 基于会话推荐模型中的流行度偏差？
• RQ2 归一化表示能否提升在线设置下不受欢迎和新引入物品的推荐性能？
• RQ3 归一化、位置嵌入和 Dropout 的组合如何影响模型的整体性能和鲁棒性？
• RQ4 NISER 在离线和在线评估设置下，相较于现有最先进模型，其性能提升程度如何？
• RQ5 在多分类设置中，嵌入归一化是否能有效缓解由 Softmax 损失引入的径向偏差？

主要发现

• 对于目标为极低频物品（ϕ* = 0.01）的会话，NISER+ 在 Recall@20 和 MRR@20 上分别实现 13% 至 28% 的相对提升，当 ϕ* = 0.001 时，提升最高分别达 26% 和 34%。
• 对于新引入的长尾物品，NISER+ 在发布当天的表现优于 GNN+，表明其在训练数据有限的情况下仍能有效推荐新物品。
• NISER+ 在各天均保持一致性能，即使随时间推移流行度偏差加剧，而 GNN+ 显著下降，尤其在 YC 数据集上表现更差。
• 消融实验表明，嵌入的 L2 归一化是最关键的组件，其贡献超过位置嵌入或 Dropout，且在所有数据集上均表现突出。
• NISER+ 在三个基准数据集（DN、RR、YC）上达到新的最先进性能，无论在 Recall@20 还是 MRR@20 上均优于 GNN+，且在所有设置下表现更优。
• 模型显著降低了 ARP（按流行度划分的平均召回率），表明对流行度偏差的缓解效果明显，尤其对低频物品。