[论文解读] Toward Continual Learning for Conversational Agents

Sung‐Jin Lee|arXiv (Cornell University)|Dec 28, 2017

Topic Modeling参考文献 28被引用 26

一句话总结

本文提出了一种用于对话智能体的持续学习框架，采用领域无关的神经模型和一种新颖的自适应弹性权重固化（AEWC）算法，实现了跨任务的数据高效技能积累。该方法显著减少了灾难性遗忘，在从人类间对话迁移后，于一项具有挑战性的域外测试集上实现了72.99%的准确率，优于微调和权重迁移基线方法。

ABSTRACT

While end-to-end neural conversation models have led to promising advances in reducing hand-crafted features and errors induced by the traditional complex system architecture, they typically require an enormous amount of data due to the lack of modularity. Previous studies adopted a hybrid approach with knowledge-based components either to abstract out domain-specific information or to augment data to cover more diverse patterns. On the contrary, we propose to directly address the problem using recent developments in the space of continual learning for neural models. Specifically, we adopt a domain-independent neural conversational model and introduce a novel neural continual learning algorithm that allows a conversational agent to accumulate skills across different tasks in a data-efficient way. To the best of our knowledge, this is the first work that applies continual learning to conversation systems. We verified the efficacy of our method through a conversational skill transfer from either synthetic dialogs or human-human dialogs to human-computer conversations in a customer support domain.

研究动机与目标

• 为解决端到端神经对话模型中对任务特定数据的高需求问题，这些模型通常需要大量标注数据。
• 克服在顺序学习新对话技能时神经网络出现的灾难性遗忘问题。
• 实现从多样化、非目标领域数据（如合成数据或人类间对话）到真实世界客户服务任务的有效技能迁移。
• 开发一种通用的、领域无关的对话模型，能够在不从头重新训练的情况下跨任务积累知识。

提出的方法

• 提出一种在一系列任务上训练的领域无关神经对话模型，以实现跨领域的泛化能力。
• 引入自适应弹性权重固化（AEWC）算法，一种新颖的持续学习方法，可根据任务重要性和参数敏感性动态调整正则化强度。
• 在新任务的微调过程中应用带有自适应缩放的弹性权重固化，以保留先前任务的知识。
• 在话语和状态嵌入上使用dropout正则化（0.4），以提升从高可变性人类间对话中迁移时的鲁棒性。
• 将最大话语长度限制为20个词元，以管理长距离依赖关系并减少迁移学习中的噪声。
• 采用两阶段训练策略：首先在通用或多样化对话数据（合成数据或H-H）上训练，然后在目标H-C客户服务对话上继续训练。

实验结果

研究问题

• RQ1 神经对话智能体是否能在不遗忘先前掌握的对话技能的前提下，高效学习新任务？
• RQ2 AEWC在多样化对话任务的顺序训练过程中，对缓解灾难性遗忘的效率如何？
• RQ3 在合成或人类间对话上预训练的模型，能在多大程度上泛化到真实世界的人机客户服务交互中？
• RQ4 仅靠权重迁移是否足以实现知识迁移，还是自适应正则化对于实现稳健的持续学习是必要的？

主要发现

• 在从人类间对话迁移后，AEWC在HC_reset_password+测试集上达到了72.99%的准确率，显著优于权重迁移（57.81%）和无迁移（27.39%）的基线方法。
• 在H-C对话迁移任务中，AEWC在HC_reset_password+上保持了高达68.88%的性能，即使训练样本数量增加，而权重迁移的性能却下降，表明出现了遗忘现象。
• 仅使用一个训练样本时，AEWC和权重迁移在域外测试集上的准确率均超过50%，证明了先验知识的有效迁移。
• 权重迁移模型在HC_reset_password+上的性能显著下降，这是由于系统性噪声和分布偏移所致，证实了标准微调的脆弱性。
• AEWC在所有训练阶段均表现出持续提升，表明先前知识的巩固稳定且有效。
• 该方法成功实现了从人类间对话（包含多样化主题和更长话语）到目标客户服务领域的迁移，且仅需极少标注数据。