[论文解读] Recent advances in conversational NLP : Towards the standardization of Chatbot building

Maâli Mnasri|arXiv (Cornell University)|Mar 21, 2019

Speech and dialogue systems参考文献 38被引用 39

一句话总结

该论文综述了当前的聊天机器人构建方法（基于规则、信息检索、机器学习、序列到序列、强化学习、混合方法），对聊天机器人进行分类，讨论评估，并主张标准化 CNLP 工具和框架。

ABSTRACT

Dialogue systems have become recently essential in our life. Their use is getting more and more fluid and easy throughout the time. This boils down to the improvements made in NLP and AI fields. In this paper, we try to provide an overview to the current state of the art of dialogue systems, their categories and the different approaches to build them. We end up with a discussion that compares all the techniques and analyzes the strengths and weaknesses of each. Finally, we present an opinion piece suggesting to orientate the research towards the standardization of dialogue systems building.

研究动机与目标

• 评估对话系统与聊天机器人架构的现状与前沿。
• 将聊天机器人分为社交和面向任务的类别，以及通用型 vs 专家型。
• 比较基于规则的方法与数据驱动方法及其混合方案的优劣。
• 讨论聊天机器人系统的评估指标与挑战。
• 提出标准化愿景与可互操作的 CNLP 框架。

提出的方法

• 对历史与当代聊天机器人方法（基于规则、基于 IR、基于 ML、seq2seq、RL）的综述与综合。
• 描述一般架构以及它们如何用于不同类型的聊天机器人。
• 讨论评估指标（人工评估、BLEU/ROUGE、困惑度、受图灵测试启发的分类器）。
• 分析优劣及其对不同用例的适用性。
• 提出标准化与开放框架的愿景，以加速研究。

实验结果

研究问题

• RQ1 如今构建聊天机器人主要有哪些类别与架构？
• RQ2 基于规则与数据驱动方法及其混合的相对优劣是什么？
• RQ3 聊天机器人如何被评估，目前的指标有哪些局限性？
• RQ4 为 CNLP 研究与工具化的标准化提出了怎样的愿景以促进聊天机器人开发？

主要发现

• 基于规则的聊天机器人实现简单且对基本任务有效，但在复杂任务上扩展性差。
• 数据驱动方法（IR、seq2seq、RL）主导当前的聊天机器人构建，seq2seq 提供端到端生成，RL 实现长期优化。
• 混合系统将组件结合起来（如 IR 检索 + seq2seq 生成，或 seq2seq 与外部知识）以利用多种方法的优点。
• 评估方法包括人工判断和自动指标如 BLEU、ROUGE 与困惑度，但在对话情境中存在局限性。
• 需要标准化、互操作的 CNLP 框架与聊天机器人引擎，以减少重复实现并加速进展。