[论文解读] Towards Semantic Query Segmentation

Ajinkya Kale, Thrivikrama Taula+2 more|arXiv (Cornell University)|Jul 25, 2017

Topic Modeling参考文献 17被引用 5

一句话总结

本文提出一种使用低维分布式查询嵌入的监督式查询分割方法，消除了对手动设计的NLP特征和外部知识库的依赖。通过在fastText嵌入（cbow架构）上训练XGBoost分类器，该方法在eBay的5万条电子商务查询语料上实现了79.9%的分割准确率，优于基线n-gram模型，并且在无需微调的情况下在不同领域间具有良好泛化能力。

ABSTRACT

Query Segmentation is one of the critical components for understanding users' search intent in Information Retrieval tasks. It involves grouping tokens in the search query into meaningful phrases which help downstream tasks like search relevance and query understanding. In this paper, we propose a novel approach to segment user queries using distributed query embeddings. Our key contribution is a supervised approach to the segmentation task using low-dimensional feature vectors for queries, getting rid of traditional hand tuned and heuristic NLP features which are quite expensive. We benchmark on a 50,000 human-annotated web search engine query corpus achieving comparable accuracy to state-of-the-art techniques. The advantage of our technique is its fast and does not use external knowledge-base like Wikipedia for score boosting. This helps us generalize our approach to other domains like eCommerce without any fine-tuning. We demonstrate the effectiveness of this method on another 50,000 human-annotated eCommerce query corpus from eBay search logs. Our approach is easy to implement and generalizes well across different search domains proving the power of low-dimensional embeddings in query segmentation task, opening up a new direction of research for this problem.

研究动机与目标

• 解决搜索引擎中语义查询分割的挑战，其中传统方法依赖于昂贵的启发式NLP特征。
• 开发一种可扩展的、领域通用的方法，避免对外部知识库（如维基百科）的依赖。
• 通过利用能隐式捕捉语义和句法关系的低维分布式嵌入，提升分割准确率。
• 在网页搜索和电子商务查询语料上评估该方法，证明其在不同领域间的泛化能力。
• 表明词嵌入能够隐式处理拼写变体和词序变化，从而在鲁棒性上优于n-gram基线模型。

提出的方法

• 该方法使用fastText学习整个查询的低维分布式嵌入，以捕捉语义和句法上下文。
• 查询嵌入通过cbow和skip-gram架构进行训练，其中cbow表现更优。
• 使用XGBoost分类器基于查询嵌入预测词元之间的分割点。
• 通过网格搜索进行超参数调优，确定最优设置：cbow为800个估计器和深度6，skip-gram为500个估计器和深度4。
• 训练数据来自由至少两名三名人工标注者标注的5万条查询语料，采用80-20%的训练-测试划分。
• 分割决策通过基于学习到的嵌入表示预测相邻词元之间的断点来做出。

实验结果

研究问题

• RQ1 分布式查询嵌入是否能在保持或提升准确率的同时替代手工设计的NLP特征用于查询分割？
• RQ2 在未进行微调的情况下，基于网页搜索查询训练的模型在电子商务搜索查询上的泛化能力如何？
• RQ3 与n-gram基线相比，使用低维嵌入是否能提升对词序变化的鲁棒性？
• RQ4 语义嵌入在多大程度上能隐式处理查询中的拼写变体和词形变化？
• RQ5 在人类标注者一致性较低的模糊或领域特定查询上，该模型表现如何？

主要发现

• 所提方法在eBay电子商务查询语料上实现了79.9%的分割准确率，显著优于基线n-gram模型（71.3%）。
• 查询级准确率从n-gram的57.8%提升至fastText cbow + XGBoost的68.3%，表明对查询意图的整体理解能力更强。
• fastText嵌入的cbow架构优于skip-gram，且通过网格搜索确定了最优的XGBoost设置。
• 该模型在不同领域间泛化良好，在5万条AOL网页搜索语料和eBay电子商务语料上均表现出相近的性能。
• 该方法对词序变化具有鲁棒性——例如，能正确将“boost 350 yeezy”分割为一个整体，而n-gram模型则失败。
• 尽管人工标注者一致性较低（三名标注者间仅25%一致），模型仍实现了高性能，表明其学习到了超越标注模糊性的稳定语义模式。