[论文解读] Strategic Dialogue Management via Deep Reinforcement Learning

Heriberto Cuayáhuitl, Simon Keizer+1 more|arXiv (Cornell University)|Nov 25, 2015

Topic Modeling参考文献 28被引用 57

一句话总结

本文提出了一种深度强化学习（DRL）框架，用于在桌游《卡坦岛》中训练战略对话智能体，使其能够通过交互学习最优的交易策略。DRL智能体在与随机、基于规则和监督基线的对比中表现更优，对三名AI对手的胜率为53%，证明了DRL在学习高维状态与动作空间下的复杂非合作对话策略方面的有效性。

ABSTRACT

Artificially intelligent agents equipped with strategic skills that can negotiate during their interactions with other natural or artificial agents are still underdeveloped. This paper describes a successful application of Deep Reinforcement Learning (DRL) for training intelligent agents with strategic conversational skills, in a situated dialogue setting. Previous studies have modelled the behaviour of strategic agents using supervised learning and traditional reinforcement learning techniques, the latter using tabular representations or learning with linear function approximation. In this study, we apply DRL with a high-dimensional state space to the strategic board game of Settlers of Catan---where players can offer resources in exchange for others and they can also reply to offers made by other players. Our experimental results report that the DRL-based learnt policies significantly outperformed several baselines including random, rule-based, and supervised-based behaviours. The DRL-based policy has a 53% win rate versus 3 automated players (`bots'), whereas a supervised player trained on a dialogue corpus in this setting achieved only 27%, versus the same 3 bots. This result supports the claim that DRL is a promising framework for training dialogue systems, and strategic agents with negotiation abilities.

研究动机与目标

• 开发一种能够在一个动态、交互式环境中进行战略、非合作谈判的智能对话智能体。
• 利用深度强化学习解决战略对话系统中大规模、高维状态与动作空间的挑战。
• 训练智能体自主学习最优交易策略，包括出价选择、接受与还价，而无需依赖人工编码规则或监督数据。
• 在真实游戏环境中，评估基于DRL的智能体与多种基线（包括随机、启发式和监督策略）的性能表现。
• 证明DRL能够有效学习复杂社交互动场景中具有竞争力且具备适应性的战略行为。

提出的方法

• 智能体使用深度Q网络（DQN），通过深度神经网络近似Q值函数，将高维状态表示映射为动作值。
• 状态表示包含160个非二值化特征，编码游戏状态，包括资源数量、发展卡、定居点位置和胜利点数。
• 动作空间包含73种不同的对话动作，如提出特定资源交易、接受或拒绝提议以及选择跳过。
• 使用密集型、稀疏型和形状化奖励函数进行训练，以鼓励赢得游戏，其中形状化基于接近胜利和资源获取的程度。
• 训练采用经验回放和目标网络以稳定学习过程，探索通过$ε$-greedy epsilon衰减实现。
• 策略通过时序差分学习端到端训练，以最大化完整游戏回合的累积折扣奖励。

实验结果

研究问题

• RQ1 深度强化学习能否有效训练智能体，在《卡坦岛》这类复杂、高维的游戏环境中学习战略对话策略？
• RQ2 基于DRL的智能体在胜率和战略适应性方面，相较于随机、基于规则和监督基线的表现如何？
• RQ3 DRL智能体在无显式监督的情况下，能在多大程度上发现有效的谈判策略，例如何时接受、拒绝或还价？
• RQ4 使用形状化奖励函数是否能提升战略对话学习中的样本效率和最终策略性能？
• RQ5 DRL智能体是否能泛化到不同类型的对手，并在非合作、竞争性环境中实现高胜率？

主要发现

• 基于DRL的智能体在对三名自动玩家（机器人）的对局中取得了53%的胜率，显著优于仅27%胜率的监督基线。
• 所有DRL智能体在交叉评估中均显著优于所有基线智能体，展现出稳健性与战略优势。
• DRL智能体学会了执行复杂的战略行为，包括选择性出价、还价以及基于游戏状态的时间决策。
• 高维状态表示（160个特征）和大动作空间（73个动作）被深度神经网络成功处理，实现了有效的策略泛化。
• 根据作者评估，该结果是目前《卡坦岛》环境中报告的最高胜率。
• 本研究证实，DRL是训练具备复杂社交环境非合作对话能力的战略性交互智能体的有前景框架。