[论文解读] Towards Personalized and Semantic Retrieval: An End-to-End Solution for E-commerce Search via Embedding Learning

Han Zhang, Songlin Wang+6 more|arXiv (Cornell University)|Jun 3, 2020

Recommender Systems and Techniques参考文献 30被引用 4

一句话总结

本文提出DPSR，一种基于深度学习的端到端电商搜索系统，通过学习到的嵌入表示，同时增强语义检索与个性化检索。通过采用双塔神经网络架构，结合多头查询编码、基于注意力的损失函数以及用户特定特征，DPSR显著提升了检索相关性，尤其在长尾查询上表现突出，在线上A/B测试中实现转化率提升1.29%，长尾查询性能提升10.03%，且延迟极低，适合大规模生产环境部署。

ABSTRACT

Nowadays e-commerce search has become an integral part of many people's shopping routines. Two critical challenges stay in today's e-commerce search: how to retrieve items that are semantically relevant but not exact matching to query terms, and how to retrieve items that are more personalized to different users for the same search query. In this paper, we present a novel approach called DPSR, which stands for Deep Personalized and Semantic Retrieval, to tackle this problem. Explicitly, we share our design decisions on how to architect a retrieval system so as to serve industry-scale traffic efficiently and how to train a model so as to learn query and item semantics accurately. Based on offline evaluations and online A/B test with live traffics, we show that DPSR model outperforms existing models, and DPSR system can retrieve more personalized and semantically relevant items to significantly improve users' search experience by +1.29% conversion rate, especially for long tail queries by +10.03%. As a result, our DPSR system has been successfully deployed into JD.com's search production since 2019.

研究动机与目标

• 为解决传统倒排索引候选召回机制在电商搜索中无法捕捉语义相似性与个性化需求的局限性。
• 设计一个可扩展、可投入生产的深度学习系统，支持工业级规模下的实时、低延迟推理。
• 提升长尾查询的检索性能，此类查询常因精确词匹配系统而被忽视。
• 在不依赖人工规则的前提下，将用户特定特征（如性别、购买力）有效整合进检索流程。
• 通过离线评估与线上A/B测试（真实流量）验证所提模型的有效性。

提出的方法

• 提出双塔神经网络架构，将查询与商品映射到共享向量空间以实现语义匹配。
• 采用多头查询塔以捕捉用户意图的多样化特征，增强表征学习能力。
• 引入基于注意力的损失函数，在训练过程中优先关注难负样本，提升模型泛化能力。
• 设计定制化负样本采样策略，平衡正负样本比例，提升训练稳定性与有效性。
• 实现一种面向大规模嵌入学习的高效训练算法，利用分布式数据与模型并行技术。
• 引入人工标注的监督数据，用于优化模型预测结果，使其更符合人类对相关性的判断。

实验结果

研究问题

• RQ1 基于深度学习的检索系统是否能在捕捉电商搜索语义相关性方面超越传统倒排索引方法？
• RQ2 如何在不依赖基于规则启发式方法的前提下，有效整合用户个性化特征至检索流程？
• RQ3 所提模型在长尾查询上的检索性能提升程度如何？此类查询对基于关键词的系统而言尤为具挑战性。
• RQ4 在真实生产工作负载下，该系统的延迟与吞吐量表现如何？
• RQ5 该模型是否能在转化率、商品交易总额（GMV）等关键业务指标上实现持续提升？

主要发现

• 在10%真实流量的线上A/B测试中，DPSR实现用户转化率（UCVR）提升+1.29%，展现出显著的业务影响。
• 系统实现商品交易总额（GMV）提升+2.19%，查询重写率（QRR）降低4.29%，表明用户满意度更高。
• 在长尾查询上，DPSR实现转化率提升+10.03%，凸显其在处理模糊或罕见搜索词方面的有效性。
• 离线人工评估显示，‘差’相关性案例减少6%，在500个长尾查询上，差结果占比从17.86%降至13.70%。
• CPU上检索延迟低于10ms，GPU上搜索延迟低于1ms，GPU上QPS提升14倍，证明系统具备实时处理能力。
• 双头查询塔（2-head）与个性化变体（1-head-p13n）均优于基线单头模型，证实架构优化的有效性。