[论文解读] SimpleDS: A Simple Deep Reinforcement Learning Dialogue System

Heriberto Cuayáhuitl|arXiv (Cornell University)|Jan 18, 2016

Speech and dialogue systems参考文献 9被引用 11

一句话总结

SimpleDS 提出了一种深度强化学习对话系统，可直接从原始、嘈杂的文本输入中选择动作，无需人工特征工程或独立的口语理解（SLU）组件。通过在模拟的语音识别输出上进行训练，实现了端到端的策略学习，表明在极少人工干预下也能诱导出合理的对话行为，标志着向完全自动化的对话策略训练迈出了重要一步。

ABSTRACT

This paper presents 'SimpleDS', a simple and publicly available dialogue system trained with deep reinforcement learning. In contrast to previous reinforcement learning dialogue systems, this system avoids manual feature engineering by performing action selection directly from raw text of the last system and (noisy) user responses. Our initial results, in the restaurant domain, show that it is indeed possible to induce reasonable dialogue behaviour with an approach that aims for high levels of automation in dialogue control for intelligent interactive agents.

研究动机与目标

• 通过消除人工特征工程和SLU组件，减少对话系统设计中的人工干预。
• 探究是否可以仅使用深度强化学习，直接从原始、嘈杂的文本输入中学习端到端的对话策略。
• 开发一个公开可用、简单且可扩展的对话系统，以最小的开发者输入实现策略学习的自动化。
• 评估仅使用原始文本和经验回放进行深度Q-learning训练有效对话策略的可行性。
• 为未来在最小监督下训练可扩展、领域通用的对话智能体奠定基础。

提出的方法

• 该系统使用带有经验回放的深度Q网络（DQN），从原始文本序列中学习对话策略。
• 对话状态通过上一轮系统和用户话语的原始文本词元的一次性编码向量表示，不使用显式的状态特征。
• 基于当前状态表示，使用近似Q值函数的神经网络选择动作。
• 环境通过引入噪声和置信度分数模拟用户响应，并根据对话成功与否提供稀疏奖励。
• 学习过程使用大小为10,000的回放缓冲区，折扣因子为0.7，采用ε-greedy探索策略，最小ε值为0.01。
• 代理通过在经验元组（状态、动作、奖励、下一状态）的小批量上执行Q-learning更新进行训练，每C步更新一次目标网络。

实验结果

研究问题

• RQ1 是否可以仅使用原始、嘈杂的文本输入，而无需人工设计的对话状态特征，成功训练对话策略？
• RQ2 当绕过口语理解（SLU）组件时，DRL代理在在多大程度上能学习到有效的对话行为？
• RQ3 基于原始文本的对话系统在学习效率和对话质量方面，与传统特征工程系统相比表现如何？
• RQ4 在模拟环境中，使用原始文本进行端到端训练能否实现合理的对话结果？
• RQ5 动作集缩减和启发式动作选择对学习速度和策略质量有何影响？

主要发现

• 该系统成功学习到一种对话策略，仅使用原始文本输入且无需人工特征工程，即可生成连贯的任务导向型对话。
• SimpleDS 表明，可以直接从嘈杂的语音识别输出中训练对话代理，无需SLU模块。
• 使用3,000次模拟对话的学习曲线显示策略学习稳定，代理通过经验回放和DQN训练实现了合理的对话成功率。
• 与完整动作集训练相比，每个状态使用减少的动作集（4–5个动作）显著提升了学习速度和策略质量。
• 该系统已在移动应用上实现并完成演示，表明该方法具有实际可部署性和可行性。
• 初步结果表明，对原始文本进行端到端训练可在极少人工干预下诱导出有意义且类人的对话行为。