[论文解读] Session-based Sequential Skip Prediction via Recurrent Neural Networks

Lin Zhu, Yihong Chen|arXiv (Cornell University)|Feb 13, 2019

Recommender Systems and Techniques参考文献 21被引用 5

一句话总结

本论文提出了一种基于GRU的循环神经网络模型，用于音乐流媒体中的会话级跳过预测，通过利用用户交互特征和歌曲元数据来预测歌曲是否会被跳过。通过在会话前半部分引入上下文嵌入以丰富序列表征，并采用模型集成方法，该方法在WSDM Cup 2019竞赛中取得了0.648的平均平均准确率（AA）得分，获得第一名。

ABSTRACT

The focus of WSDM cup 2019 is session-based sequential skip prediction, i.e. predicting whether users will skip tracks, given their immediately preceding interactions in their listening session. This paper provides the solution of our team extbf{ekffar} to this challenge. We focus on recurrent-neural-network-based deep learning approaches which have previously been shown to perform well on session-based recommendation problems. We show that by choosing an appropriate recurrent architecture that properly accounts for the given information such as user interaction features and song metadata, a single neural network could achieve a Mean Average Accuracy (AA) score of 0.648 on the withheld test data. Meanwhile, by ensembling several variants of the core model, the overall recommendation accuracy can be improved even further. By using the proposed approach, our team was able to attain the 1st place in the competition. We have open-sourced our implementation at GitHub.

研究动机与目标

• 解决利用序列化交互数据预测用户在音乐收听会话中跳过行为的挑战。
• 通过深度学习有效建模动态用户偏好与会话上下文。
• 通过将用户交互特征与歌曲元数据融入循环架构，提升预测准确性。
• 在WSDM Cup 2019会话级跳过预测基准上实现最先进性能。
• 展示模型集成与架构改进在序列推荐任务中的有效性。

提出的方法

• 一个两层堆叠GRU网络处理每个会话的前半部分，以生成上下文会话嵌入。
• 对于后半部分，每个音轨的表征通过将其特征与前半部分的会话嵌入拼接，并与经过ReLU激活的特征进行Hadamard积运算来增强。
• 增强后的表征输入到一个具有ReLU激活的两层多层感知机，输出层使用Sigmoid函数进行二分类跳过预测。
• 采用多任务学习设置，联合预测跳过行为以及相关用户操作（如上下文切换和暂停模式）。
• 模型训练使用Adam优化器，基础初始学习率为0.0005，批量大小为2200，并通过序列填充处理可变长度会话。
• 集成方法结合了六种模型变体——其差异在于激活函数（如ELU）、批量归一化及超参数——以提升泛化能力。

实验结果

研究问题

• RQ1 基于GRU的架构能否有效建模音乐流媒体会话中的序列化用户行为以实现跳过预测？
• RQ2 结合会话级上下文与音轨元数据在多大程度上提升了跳过预测的准确性？
• RQ3 架构变化与模型集成在WSDM Cup 2019基准上的性能提升程度如何？
• RQ4 通过辅助用户行为信号（如context_switch、pause行为）进行多任务学习，是否能改善主要的跳过预测任务？
• RQ5 该模型对可变长度会话与长期序列依赖关系的鲁棒性如何？

主要发现

• 单一GRU模型在保留测试集上取得了0.648的平均平均准确率（AA）得分，在WSDM Cup 2019竞赛中排名第一。
• 将六种模型变体（激活函数、归一化或超参数不同）进行集成后，AA得分提升至0.651。
• 使用结合会话级上下文与音轨特异性特征的增强表征，显著提升了模型性能。
• 通过堆叠GRU，模型有效捕捉了序列动态与用户意图，在此序列化场景下优于传统协同过滤方法。
• 引入辅助任务（如context_switch、pause行为）有助于提升泛化能力与预测稳定性。
• 该方法在未见会话上表现出强大的泛化能力，验证了其在真实世界会话级推荐系统中的有效性。