[论文解读] The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems

Ryan Lowe, Nissan Pow+2 more|arXiv (Cornell University)|Jun 29, 2015

Speech and dialogue systems被引用 5

一句话总结

本文介绍了Ubuntu对话语料库，这是一个大规模数据集，包含近100万条来自Ubuntu技术支援聊天的多轮对话，涵盖超过700万条话语和1亿个词。该数据集支持使用神经网络进行非结构化、多轮对话系统的研究，基准结果显示，LSTM模型在选择最佳下一条回复方面优于TF-IDF和RNN等简单方法。

ABSTRACT

This paper introduces the Ubuntu Dialogue Corpus, a dataset containing almost 1 million multi-turn dialogues, with a total of over 7 million utterances and 100 million words. This provides a unique resource for research into building dialogue managers based on neural language models that can make use of large amounts of unlabeled data. The dataset has both the multi-turn property of conversations in the Dialog State Tracking Challenge datasets, and the unstructured nature of interactions from microblog services such as Twitter. We also describe two neural learning architectures suitable for analyzing this dataset, and provide benchmark performance on the task of selecting the best next response.

研究动机与目标

• 为解决缺乏大规模、非结构化、多轮对话数据集以训练神经对话智能体的问题。
• 支持利用大量未标注数据进行端到端对话系统的研究。
• 为开放域多轮对话中的回复选择提供基准。
• 支持开发能够在多样化对话情境中泛化的神经架构。

提出的方法

• 通过从公开的Ubuntu IRC聊天日志（2004–2015年）中提取并分离多轮对话构建数据集。
• 对对话进行筛选，仅保留至少包含3轮对话且参与人数不少于2人的对话。
• 采用基于规则的解耦方法，将多参与者聊天日志中的个体双人对话分离出来。
• 评估了三种模型：TF-IDF、RNN和LSTM，所有模型均在完整语料库上进行训练，用于回复选择任务。
• 将回复选择任务定义为10选1的分类问题，错误回复从语料库中随机采样。
• 评估使用Recall@k和准确率指标，并对数据集大小和任务难度进行了消融研究。

实验结果

研究问题

• RQ1 大规模、非结构化、多轮对话数据是否能提升神经回复选择模型的性能？
• RQ2 在开放域对话中，不同神经架构（TF-IDF、RNN、LSTM）在选择最恰当下一条回复方面表现如何比较？
• RQ3 增加训练数据集的规模是否能提升回复选择任务的性能？
• RQ4 在无需显式人工标注的情况下，基于该语料库训练的模型能否在多样化对话情境中实现良好泛化？
• RQ5 当错误回复与正确回复在语义上更加相似时，回复选择任务的难度如何影响模型性能？

主要发现

• Ubuntu对话语料库包含997,909条多轮对话、710万条话语和1亿个词，是目前可用的最大规模开放域对话数据集之一。
• LSTM模型在回复选择任务中表现最佳，显著优于RNN和TF-IDF基线模型。
• 随着训练数据规模的增加，LSTM模型的Recall@1持续提升，表明大规模无标注对话数据预训练具有显著优势。
• TF-IDF与神经网络模型之间的性能差距凸显了序列建模在捕捉对话上下文方面的重要性。
• 研究表明，即使采用随机负样本采样，神经网络模型仍能从大规模非结构化对话中学习到有意义的回复表征。
• 作者指出，尽管当前模型尚无法生成高质量回复，但回复选择提供了一个可行且可评估的中间基准。