[论文解读] Understanding Diversity in Session-Based Recommendation

Yin Qing, Hui Fang+2 more|arXiv (Cornell University)|Aug 29, 2022

Recommender Systems and Techniques被引用 7

一句话总结

本文对16种最先进的基于会话的推荐系统（SBRSs）进行了全面的实证研究，以探究准确率与多样性之间的相互作用。研究发现，非多样化的模型也能实现较强的多样性表现，且准确率-多样性关系并非普遍为权衡关系——其关系可能为正相关或混合型，具体取决于模型和数据集，其中项目嵌入聚类与数据集多样性成为影响多样性的关键因素。

ABSTRACT

Current session-based recommender systems (SBRSs) mainly focus on maximizing recommendation accuracy, while few studies have been devoted to improve diversity beyond accuracy. Meanwhile, it is unclear how the accuracy-oriented SBRSs perform in terms of diversity. Besides, the asserted "trade-off" relationship between accuracy and diversity has been increasingly questioned in the literature. Towards the aforementioned issues, we conduct a holistic study to particularly examine the recommendation performance of representative SBRSs w.r.t. both accuracy and diversity, striving for better understanding the diversity-related issues for SBRSs and providing guidance on designing diversified SBRSs. Particularly, for a fair and thorough comparison, we deliberately select state-of-the-art non-neural, deep neural, and diversified SBRSs, by covering more scenarios with appropriate experimental setups, e.g., representative datasets, evaluation metrics, and hyper-parameter optimization technique. Our empirical results unveil that: 1) non-diversified methods can also obtain satisfying performance on diversity, which might even surpass diversified ones; and 2) the relationship between accuracy and diversity is quite complex. Besides the "trade-off" relationship, they might be positively correlated with each other, that is, having a same-trend (win-win or lose-lose) relationship, which varies across different methods and datasets. Additionally, we further identify three possible influential factors on diversity in SBRSs (i.e., granularity of item categorization, session diversity of datasets, and length of recommendation lists).

研究动机与目标

• 探究基于会话的推荐系统（SBRSs）中推荐准确率与多样性之间的关系，挑战既定的权衡假设。
• 在准确率与多样性指标上对广泛的SBRSs（非神经网络、深度神经网络及多样化模型）进行评估，以实现公平比较。
• 识别除模型设计之外影响多样性的关键因素，如项目分类粒度、数据集中会话的多样性以及推荐列表长度。
• 通过分析学习到的项目嵌入并提出PCP与NCP组件，为构建多样化SBRSs提供实际设计指导。
• 证明通过改进嵌入表示，可在不牺牲准确率的前提下增强多样性。

提出的方法

• 本研究在四个代表性数据集（Diginetica、Retailrocket、Tmall和Yoochoose）上评估了16种最先进的SBRSs。
• 采用多种评估指标：HR@10（准确率）、ILD@10（多样性）和F-score@10（综合性能）。
• 作者引入两种新型组件——PCP（成对类别先验）与NCP（邻域类别先验），通过鼓励不同类别嵌入的混合来增强多样性。
• PCP通过学习类别特定先验来促进类别间混合，而NCP通过局部嵌入正则化在邻域层面促进多样性。
• 通过将PCP与NCP集成到STAMP模型中，并在电商数据集上使用UMAP对嵌入空间进行可视化，验证了PCP与NCP的有效性。
• 案例研究分析了嵌入聚类模式，将模型性能与学习表示中类别分离的程度联系起来。

实验结果

研究问题

• RQ1 在不同模型与数据集上，SBRS中普遍假设的准确率与多样性之间的权衡是否成立？
• RQ2 非多样化SBRS是否能在无显式多样性模块的情况下实现强多样性表现？
• RQ3 项目分类粒度、数据集中会话多样性以及推荐列表长度等因素如何影响多样性结果？
• RQ4 学习到的项目嵌入在多大程度上反映了类别级别的聚类？这种聚类如何影响多样性？
• RQ5 通过PCP与NCP改进的嵌入表示，能否同时提升SBRS的准确率与多样性？

主要发现

• 非多样化模型如GRU4Rec、POP和S-POP实现了具有竞争力的多样性表现，有时甚至超过专门设计的多样化模型如MCPRN和ComiRec。
• 准确率与多样性之间的关系并非普遍为权衡关系；在许多情况下二者呈正相关，表明根据模型与数据集的不同，可能存在双赢或共损趋势。
• IDSR在多样性指标中始终位列前茅，验证了其专用多样性模块的有效性。
• 在所有三个电商数据集上，NCP在多样性（ILD@10）与综合性能（F-score@10）方面均优于PCP，而PCP在Diginetica与Retailrocket数据集上表现出更高的准确率。
• 数据集中会话多样性的程度（以数据集多样性评分衡量）显著影响模型性能：如Tmall等高度多样的数据集，通过嵌入操作提升多样性的难度更大。
• 使用UMAP对学习到的嵌入进行可视化显示，嵌入空间中类别间混合程度更高的模型能实现更好的多样性，支持PCP与NCP作为有效多样性增强组件的设计。