[论文解读] Teaching Models new APIs: Domain-Agnostic Simulators for Task Oriented Dialogue

Moya Chen, Paul Crook+1 more|arXiv (Cornell University)|Oct 13, 2021

Topic Modeling参考文献 48被引用 4

一句话总结

本文提出了一种与领域无关的模拟器，利用大语言模型仅通过API实现和用户目标生成合成的任务导向对话数据。通过利用自动的任务成功度量实现自增强和主动学习，该方法在零样本设置下实现了37%的错误率降低，并且仅使用10倍少的数据量即可达到全监督模型的性能，整个过程无需人工参与或领域特定模板。

ABSTRACT

We demonstrate that large language models are able to simulate Task Oriented Dialogues in novel domains, provided only with an API implementation and a list of goals. We show these simulations can formulate online, automatic metrics that correlate well with human evaluations. Furthermore, by checking for whether the User's goals are met, we can use simulation to repeatedly generate training data and improve the quality of simulations themselves. With no human intervention or domain-specific training data, our simulations bootstrap end-to-end models which achieve a 37\% error reduction in previously unseen domains. By including as few as 32 domain-specific conversations, bootstrapped models can match the performance of a fully-supervised model with $10 imes$ more data. To our knowledge, this is the first time simulations have been shown to be effective at bootstrapping models without explicitly requiring any domain-specific training data, rule-engineering, or humans-in-the-loop.

研究动机与目标

• 开发一种可扩展的、与领域无关的任务导向对话模拟框架，消除对人工标注数据或基于规则的模板的依赖。
• 实现仅使用API规范和用户目标端到端训练对话代理，无需领域特定的监督。
• 通过使用任务成功作为信号的自动自监督自增强机制，提升模型在零样本和少样本设置下的泛化能力和鲁棒性。
• 减少对话系统开发中对人工参与评估和手动数据整理的依赖。

提出的方法

• 利用大语言模型作为用户和助手的模拟器，仅基于API实现和用户目标进行构建。
• 采用轮次制对话循环：用户话语 → 助手API调用 → API响应 → 助手回复，当正确API调用被生成时终止。
• 将任务成功定义为在对话结束前生成了正确的API调用，从而实现自动、在线的评估。
• 应用迭代式自增强：仅使用成功的合成对话重新训练模型，以随时间推移提升性能。
• 采用主动学习识别并优先处理最弱的模型行为，通过在低性能样本上进行人工标注来优化模型。
• 使用贪婪解码和核心解码策略生成合成对话，并分析其在多样性与幻觉之间的权衡。

实验结果

研究问题

• RQ1 大语言模型能否仅通过API实现和用户目标在新领域中模拟任务导向对话？
• RQ2 合成对话中的任务成功是否可作为人类对话质量评估的可靠代理？
• RQ3 使用任务成功作为信号的自监督自增强能否在不使用任何领域特定训练数据的情况下提升模型性能？
• RQ4 在仅使用少量人工标注样本的情况下，主动学习在多大程度上可以缩小与全监督模型的性能差距？
• RQ5 生成策略（如贪婪解码与核心采样）如何影响合成对话中的语言多样性与幻觉？

主要发现

• 所提出的模拟器在未见过的新领域中实现了37%的错误率降低，展现出强大的泛化能力。
• 仅使用32个领域特定示例，自增强模型的性能即可匹配使用10倍更多数据训练的全监督模型。
• 任务成功率与人类评估高度相关，可作为对话质量的可靠自动度量指标。
• 主动学习显著提升了模型性能，尤其是在低数据场景下，通过聚焦最具信息量的失败案例实现优化。
• 贪婪解码导致语言多样性较低，即使任务成功率达到接近完美，也常出现重复的槽位填充模式。
• 核心采样提升了语言变体，但增加了幻觉现象，表明多样性与事实一致性之间存在权衡。