[论文解读] Query Understanding for Natural Language Enterprise Search

Francisco Borges, Georgios Balikas+6 more|arXiv (Cornell University)|Dec 11, 2020

Topic Modeling参考文献 29被引用 4

一句话总结

本文提出了一种面向主流CRM平台的生产级自然语言搜索（NLS）系统，该系统结合了基于深度学习的命名实体识别（NER）与基于规则的专家系统，以及基于语法的查询建议引擎。混合架构显著降低了用户操作负担——用户研究表明，与导航式搜索相比，NLS可节省超过50%的时间——通过支持自然语言查询动态检索记录，其关键创新在于合成训练数据的生成方法以及面向企业环境约束的稳健模型生命周期管理。

ABSTRACT

Natural Language Search (NLS) extends the capabilities of search engines that perform keyword search allowing users to issue queries in a more "natural" language. The engine tries to understand the meaning of the queries and to map the query words to the symbols it supports like Persons, Organizations, Time Expressions etc.. It, then, retrieves the information that satisfies the user's need in different forms like an answer, a record or a list of records. We present an NLS system we implemented as part of the Search service of a major CRM platform. The system is currently in production serving thousands of customers. Our user studies showed that creating dynamic reports with NLS saved more than 50% of our user's time compared to achieving the same result with navigational search. We describe the architecture of the system, the particularities of the CRM domain as well as how they have influenced our design decisions. Among several submodules of the system we detail the role of a Deep Learning Named Entity Recognizer. The paper concludes with discussion over the lessons learned while developing this product.

研究动机与目标

• 在复杂且注重隐私的CRM环境中，设计并部署一个可扩展、生产级的自然语言搜索（NLS）系统。
• 解决企业环境中因高度定制化与数据隐私限制导致的领域特定NER训练数据稀缺问题。
• 通过支持自然语言查询动态检索记录，提升用户效率，减少对导航式或报表式工作流的依赖。
• 开发一种稳健的混合架构，结合深度学习与基于规则的系统，以在多样化客户配置中实现更好的泛化能力与可靠性。
• 建立在不断变化的用户需求下，支持真实世界NLP系统持续改进的模型生命周期管理、评估与监控的最佳实践。

提出的方法

• 采用混合架构，包含两条并行的标注处理管道：一条结合深度学习NER与基于规则的专家系统以提升泛化能力；另一条使用上下文无关语法（查询建议语法）以实现可预测的查询建议执行。
• 利用概率上下文无关语法（PCFG）生成合成的、真实的训练数据，以克服真实企业查询标注数据稀缺的问题。
• 训练针对CRM特定查询模式的领域特定词嵌入，超越通用预训练嵌入，以提升实体识别性能。
• 实施多阶段质量保障管道，包含版本化模型门控、基于元数据的算法与A/B测试，以确保生产环境的稳定性与可衡量的性能提升。
• 集成专家系统以处理简单且高覆盖度的任务（如选项列表值、布尔过滤器），以增强系统鲁棒性并减轻深度学习模型的负担。
• 使用在线监控与监控仪表板追踪系统行为与故障，指导迭代优化与模型更新。

实验结果

研究问题

• RQ1 如何在训练数据有限且高度可变的企业CRM系统中，有效适应基于深度学习的NER模型？
• RQ2 在多租户、隐私受限的环境中，何种架构模式能最佳平衡深度学习的灵活性与基于规则系统的可靠性？
• RQ3 当真实标注数据稀缺时，使用PCFG生成的合成数据在多大程度上能提升NER性能？
• RQ4 如何设计模型生命周期管理与评估管道，以支持在用户需求持续演化的生产级NLP系统中实现持续改进？
• RQ5 混合系统（结合神经网络与符号组件）在实现稳健、可扩展的企业搜索中发挥何种作用？

主要发现

• 在创建动态报表时，与传统导航式搜索相比，NLS系统将用户时间减少了超过50%，显著加速了工作流程。
• 使用PCFG生成的合成数据产生了真实、语义有意义的训练数据，尽管真实标注数据有限，但仍有效提升了模型的泛化能力。
• 混合架构——结合深度学习NER、基于规则的专家系统与基于语法的查询建议引擎——在鲁棒性与覆盖范围方面优于纯神经网络或纯符号方法。
• 专家系统在高度定制化的客户环境中，对于识别选项列表值或布尔过滤器等简单结构化任务，比深度学习模型更具可靠性。
• 模型版本控制、基于元数据的处理管道与A/B测试在用户需求不断演化的生产环境中，对维持质量与实现迭代改进至关重要。
• 系统从纯深度学习NER模型逐步演进为混合系统，反映出真实企业部署中对适应性与可靠性的实际需求。