[论文解读] Sensory-Aware Sequential Recommendation via Review-Distilled Representations

Yeo Chan Yoon|arXiv (Cornell University)|Mar 3, 2026

Sentiment Analysis and Opinion Mining被引用 0

一句话总结

ASEGR 通过将教师 LLM 输出蒸馏到紧凑的学生编码器来丰富顺序推荐的项表示，并在标准模型中注入固定的感官嵌入，以提升下一个-item 预测。

ABSTRACT

We propose a novel framework for sensory-aware sequential recommendation that enriches item representations with linguistically extracted sensory attributes from product reviews. Our approach, extsc{ASEGR} (Attribute-based Sensory Enhanced Generative Recommendation), introduces a two-stage pipeline in which a large language model is first fine-tuned as a teacher to extract structured sensory attribute--value pairs, such as extit{color: matte black} and extit{scent: vanilla}, from unstructured review text. The extracted structures are then distilled into a compact student transformer that produces fixed-dimensional sensory embeddings for each item. These embeddings encode experiential semantics in a reusable form and are incorporated into standard sequential recommender architectures as additional item-level representations. We evaluate our method on four Amazon domains and integrate the learned sensory embeddings into representative sequential recommendation models, including SASRec, BERT4Rec, and BSARec. Across domains, sensory-enhanced models consistently outperform their identifier-based counterparts, indicating that linguistically grounded sensory representations provide complementary signals to behavioral interaction patterns. Qualitative analysis further shows that the extracted attributes align closely with human perceptions of products, enabling interpretable connections between natural language descriptions and recommendation behavior. Overall, this work demonstrates that sensory attribute distillation offers a principled and scalable way to bridge information extraction and sequential recommendation through structured semantic representation learning.

研究动机与目标

• 通过从评论中获取明确的感官语义来充实顺序推荐系统。
• 开发 ASEGR，以教师 LLM 提取结构化的感官属性–值对，并蒸馏为紧凑的项嵌入。
• 实现无在线 LLM 使用的，将感官嵌入无缝整合到现有顺序骨干网络中。
• 证明感官嵌入在跨域、跨骨干网的交互数据之外提供互补信号。

提出的方法

• 构建固定的感官方面模式（颜色、图案、质地、气味等），并使用训练以产生结构化 JSON 记录的教师模型提取开放词汇属性值。
• 在种子数据上对教师模型进行微调，使其与参考感官提取标准对齐，并离线标注大型目录（2.67M 项）。
• 训练紧凑的学生编码器（DeBERTa v3 Small），通过回归教师目标和对比学习将项文本映射到 768 维感官嵌入（L stu = ||f theta(xi) - zteach,i||^2 + lambda * L_NCE）。
• 对所有项进行感官嵌入的预计算和存储；通过一个统一的输入层前置融合算子将嵌入注入到顺序模型中（投影 s_i 并与项ID嵌入 fuse）。
• 在四个亚马逊领域上评估感官增强变体在 SASRec、BERT4Rec、BSARec 上的全排序 HR 和 NDCG 指标；保持一致的训练协议以 isolating 感官贡献。

实验结果

研究问题

• RQ1 语言学上有依据、来自评论的感官属性在标准顺序模型中整合后能否提高下一个 item 的预测？
• RQ2 将感官信息蒸馏成紧凑嵌入后，能否在多种骨干网和领域中保持性能提升？
• RQ3 感官嵌入是否提供可解释且可审计的信号，与人类产品感知一致？
• RQ4 感官提取与蒸馏流程是否可扩展到大目录和离线预处理成本？
• RQ5 感官信号对不同数据集和模型架构的排序行为有何差异影响？

主要发现

• 感官增强的模型在所有骨干网和领域中均优于仅使用 ID 的对应模型，在多个截断点的 HR 与 NDCG 指标上保持稳定提升。
• Beauty 与 Toys 领域显示出最显著的提升，例如 Beauty 中 SASRec 的 HR@10 从 6.05 提升到 7.22、NDCG@10 从 3.18 提升到 4.17；Toys 在多种骨干网上也有显著提升。
• Sports 领域呈现混合效应，SASRec 的 HR@10 提高但 NDCG@10 降低，而 BERT4Rec 在两个指标上均有提升。
• 在所有领域与骨干网中，感官嵌入提供互补信号，提升检索与排序性能，表明基于语言学的感官表示的效用。
• 该框架通过将项嵌入与显式感官描述（来自评论）对齐，提升可解释性。