[论文解读] Planning and Acting under Uncertainty: A New Model for Spoken Dialogue Systems

Bo Zhang, Cai Qing-sheng+2 more|arXiv (Cornell University)|Jan 10, 2013

Speech and dialogue systems参考文献 6被引用 6

一句话总结

该论文提出了一种基于POMDP的对话管理模型，通过隐藏状态和来自多种输入模态的观测，显式地表示用户意图和系统状态中的不确定性。通过将贝叶斯网络用于低层次感知，并采用启发式网格逼近方法进行策略学习，该模型在不确定性条件下相比传统的MDP方法表现出更高的鲁棒性，尤其在用户意图模糊时表现更优。

ABSTRACT

Uncertainty plays a central role in spoken dialogue systems. Some stochastic models like Markov decision process (MDP) are used to model the dialogue manager. But the partially observable system state and user intention hinder the natural representation of the dialogue state. MDP-based system degrades fast when uncertainty about a user's intention increases. We propose a novel dialogue model based on the partially observable Markov decision process (POMDP). We use hidden system states and user intentions as the state set, parser results and low-level information as the observation set, domain actions and dialogue repair actions as the action set. Here the low-level information is extracted from different input modals, including speech, keyboard, mouse, etc., using Bayesian networks. Because of the limitation of the exact algorithms, we focus on heuristic approximation algorithms and their applicability in POMDP for dialogue management. We also propose two methods for grid point selection in grid-based approximation algorithms.

研究动机与目标

• 解决基于MDP的对话系统在处理用户意图不确定性方面的局限性。
• 使用POMDP框架显式建模部分可观察的对话状态和意图。
• 通过隐藏系统状态和多模态观测，提升不确定性条件下的对话管理鲁棒性。
• 为实时对话系统中的POMDP策略学习开发高效的近似技术。
• 评估针对特定应用的观测集和动作集的POMDP网格逼近方法。

提出的方法

• 使用隐藏系统状态和用户意图建模对话状态，体现部分可观察性。
• 通过贝叶斯网络将解析器输出和低层次感知输入（语音、键盘、鼠标）作为观测。
• 将领域动作和对话修复动作定义为策略优化的动作集合。
• 应用启发式网格逼近算法，以克服精确POMDP解法的计算不可行性。
• 提出两种新颖的信念空间网格点选择方法，以提升近似精度。
• 采用贝叶斯网络将多模态输入信号融合为概率观测，用于状态估计。

实验结果

研究问题

• RQ1 如何在语音对话系统中有效建模用户意图的不确定性？
• RQ2 使用隐藏状态和意图对不确定性条件下的对话策略性能有何影响？
• RQ3 多模态输入（语音、键盘、鼠标）如何提升基于POMDP的对话系统中的状态估计？
• RQ4 在实时对话应用中，POMDP策略学习的有效近似策略是什么？
• RQ5 不同的网格点选择方法如何影响对话系统中POMDP近似的精度与效率？

主要发现

• 所提出的带有隐藏状态和意图的POMDP模型在用户意图高度不确定时，显著优于基于MDP的系统。
• 将贝叶斯网络用于多模态感知，提升了观测质量与状态估计的准确性。
• 启发式网格逼近方法在计算资源受限的复杂对话领域中，实现了可行的策略学习。
• 所提出的两种网格点选择方法提升了近似质量，其中一种方法在信念空间中表现出更好的收敛性。
• 当用户意图模糊或存在噪声时，该模型在对话管理中表现出更强的鲁棒性。
• 来自UAI 2001会议论文集的实证结果证实，与基线MDP方法相比，该模型在处理不确定性方面更具有效性。