[论文解读] Real-world Conversational AI for Hotel Bookings

Bai Li, Nanyi Jiang+3 more|arXiv (Cornell University)|Aug 27, 2019

Topic Modeling参考文献 16被引用 5

一句话总结

该论文提出了一套用于酒店预订的生产规模对话式AI系统，采用基于框架的对话管理器，并与NLP模型集成，实现意图分类、命名实体识别和信息检索。该系统在使用BERT微调后达到89.5%的top-1召回率，显著优于基线模型，并在实际部署中通过高预订完成率和低人工转接率，验证了其在真实场景中的有效性。

ABSTRACT

In this paper, we present a real-world conversational AI system to search for and book hotels through text messaging. Our architecture consists of a frame-based dialogue management system, which calls machine learning models for intent classification, named entity recognition, and information retrieval subtasks. Our chatbot has been deployed on a commercial scale, handling tens of thousands of hotel searches every day. We describe the various opportunities and challenges of developing a chatbot in the travel industry.

研究动机与目标

• 开发一种可扩展、适用于生产的酒店预订对话式AI系统，支持自然语言交互。
• 解决旅游电商中现实世界NLP的挑战，包括意图理解、实体识别和信息检索。
• 通过人机协同反馈机制，将机器学习模型与人工干预结合，以提升模型的鲁棒性和覆盖范围。
• 使用真实世界指标（如人工转接率和预订完成率）验证系统性能。

提出的方法

• 系统采用基于框架的对话管理架构，利用有限状态自动机指导用户查询中的槽位填充。
• 意图分类通过多分类模型实现，用于检测用户意图，如预订、求助或澄清。
• 命名实体识别（NER）从用户消息中提取关键信息，如日期、地点和预算。
• 信息检索（IR）使用神经网络模型对酒店匹配结果进行排序，包括平均GloVe嵌入和使用[CLS]标记分类的BERT微调。
• 采用基于规则的unigram基线模型进行对比，所有模型均在9,000条标注的搜索消息上进行训练，并以ElasticSearch结果作为参考。
• 外部验证采用真实世界指标：人工转接率和预订完成率，以评估系统性能。

实验结果

研究问题

• RQ1 如何通过基于框架的对话系统有效管理使用自然语言输入的真实酒店预订对话？
• RQ2 在旅行查询场景下，哪些NLP模型架构在意图分类、命名实体识别和信息检索任务中表现最佳？
• RQ3 与传统神经网络和基于规则的基线相比，BERT微调在将用户查询匹配到相关酒店结果方面表现如何？
• RQ4 人工转接率和预订完成率等真实世界指标在多大程度上能反映底层NLP模型的实际性能？

主要发现

• BERT微调模型在信息检索任务中达到89.5%的top-1召回率和96.1%的F1分数，显著优于平均GloVe基线模型。
• 该系统在生产环境中降低了人工转接率并提高了预订完成率，验证了NLP流水线在真实场景中的有效性。
• 通过人工代理对低置信度预测提供反馈，获得了宝贵的反馈数据，支持模型的持续优化。
• 在酒店搜索场景中，使用微调的BERT在短文本匹配任务中表现极为出色，展现出对真实用户查询的强大泛化能力。