[论文解读] SIGIR 2021 E-Commerce Workshop Data Challenge

Jacopo Tagliabue, Ciro Greco+5 more|arXiv (Cornell University)|Apr 19, 2021

Recommender Systems and Techniques参考文献 33被引用 12

一句话总结

本文介绍了SIGIR 2021电子商务研讨会数据挑战赛，发布了一个大规模、匿名化、基于会话的电子商务数据集，涵盖57,000种商品的1000万次交互。该研究提出了两个真实世界任务——基于会话的推荐与早期购物车弃用预测，旨在提升中小型电子商务平台的实时个性化推荐效果，重点关注模型效率、样本稀缺性以及在极端类别不平衡情况下的性能表现。

ABSTRACT

The 2021 SIGIR workshop on eCommerce is hosting the Coveo Data Challenge for "In-session prediction for purchase intent and recommendations". The challenge addresses the growing need for reliable predictions within the boundaries of a shopping session, as customer intentions can be different depending on the occasion. The need for efficient procedures for personalization is even clearer if we consider the e-commerce landscape more broadly: outside of giant digital retailers, the constraints of the problem are stricter, due to smaller user bases and the realization that most users are not frequently returning customers. We release a new session-based dataset including more than 30M fine-grained browsing events (product detail, add, purchase), enriched by linguistic behavior (queries made by shoppers, with items clicked and items not clicked after the query) and catalog meta-data (images, text, pricing information). On this dataset, we ask participants to showcase innovative solutions for two open problems: a recommendation task (where a model is shown some events at the start of a session, and it is asked to predict future product interactions); an intent prediction task, where a model is shown a session containing an add-to-cart event, and it is asked to predict whether the item will be bought before the end of the session.

研究动机与目标

• 通过发布一个反映中小型电子商务平台真实情况的、匿名化处理的数据集，填补基于会话的推荐与意图预测模型在现实应用中的空白。
• 支持在数据极少的条件下开展购物车弃用早期预测与下一项商品推荐的研究，以反映非重复用户与高跳出率的现实约束。
• 通过在中小型店铺场景下进行评估，推动实用化、可投入生产的模型研发，强调样本效率、推理速度以及对类别不平衡的鲁棒性。
• 提供一个反映真实行业挑战（如会话时间短、用户复购率低、用户意图动态变化）的基准，超越合成数据集或私有数据集的局限。
• 通过关键用户旅程阶段的定性与定量分析，鼓励研究将理论进展与实际业务影响相连接。

提出的方法

• 发布一个基于会话的数据集，包含来自400万次会话的1000万条商品交互记录，涵盖浏览事件、搜索查询和加入购物车操作，所有数据均通过哈希与时间戳偏移实现匿名化处理。
• 定义两个核心任务：(1) 利用先前交互与搜索查询，在会话内进行下一项商品推荐；(2) 在用户加入购物车事件后1至n次事件内，进行早期购物车弃用预测。
• 使用session_id_hash对事件进行分组，并利用server_timestamp_epoch_ms重建时间顺序，即使文件本身未按时间排序。
• 应用匿名化技术，包括对product_sku_hash、session_id_hash和URL进行哈希处理，并对时间戳进行未知但一致的周数偏移，以保留周内模式。
• 设计评估协议，优先关注早期预测（例如，在加入购物车后10次事件内预测购买结果），并评估模型随时间推移的预测提前量行为。
• 鼓励参赛者在数据切片（如新品、稀有商品、搜索后行为）中进行误差分析，以评估模型的鲁棒性与实际相关性。

实验结果

研究问题

• RQ1 在仅使用浏览与搜索行为的情况下，模型在推荐会话中下一项商品交互时表现如何，尤其是在处理稀有或新引入商品时？
• RQ2 模型在会话早期阶段能多大程度上提前预测购物车弃用？其性能如何随会话长度及加入购物车后的操作次数变化？
• RQ3 在极端类别不平衡（如80%非购买 vs. 20%购买）条件下，模型架构与训练策略的表现如何，此类情况是否真实反映了电子商务平台的转化率？
• RQ4 结合搜索查询、内容特征与浏览模式，可获得哪些关于在低数据环境下提升基于会话个性化推荐的洞见？
• RQ5 在中小型零售商的真实部署场景中，样本效率、推理速度与模型稳定性如何与业务影响相关联？

主要发现

• 该数据集包含57,000种唯一商品的1000万次商品交互，共400万次会话，标识符已匿名化，时间戳偏移保留了周内模式。
• 购物车弃用任务在多个时间窗口（加入购物车后1至n次事件）进行评估，重点在于早期预测，因为这为干预提供了最高的业务价值。
• 该挑战凸显了在会话中建模用户意图变化的重要性，尤其考虑到大多数用户为非重复用户且跳出率较高。
• 现有基准常无法反映现实约束，如用户复购率低与极端类别不平衡，而本挑战明确针对这些问题。
• 该数据集支持在关键场景（如新品、稀有商品、搜索后行为）中进行误差分析，揭示了模型在低数据环境下的局限性。
• 该挑战鼓励对预测提前量指标的研究——衡量模型能多早、多一致地预测结果——强调了需要能早期且自信行动的模型。