[论文解读] Towards Neural Speaker Modeling in Multi-Party Conversation: The Task, Dataset, and Models

Meng Zhao, Lili Mou+1 more|arXiv (Cornell University)|Aug 10, 2017

Topic Modeling参考文献 17被引用 3

一句话总结

本文提出将说话人分类作为多人群对话中神经说话人建模的代理任务，引入了来自CNN电视脱口秀字幕的大规模数据集。通过插值结合内容建模与时间建模，结果表明混合模型显著优于单一组件方法，且简单的微调后插值在宏平均F1分数上表现最佳。

ABSTRACT

Neural network-based dialog systems are attracting increasing attention in both academia and industry. Recently, researchers have begun to realize the importance of speaker modeling in neural dialog systems, but there lacks established tasks and datasets. In this paper, we propose speaker classification as a surrogate task for general speaker modeling, and collect massive data to facilitate research in this direction. We further investigate temporal-based and content-based models of speakers, and propose several hybrids of them. Experiments show that speaker classification is feasible, and that hybrid models outperform each single component.

研究动机与目标

• 建立多人群对话中神经说话人建模的标准化任务，以解决基准任务和数据集缺乏的问题。
• 收集并发布一个大规模、公开可用的电视脱口秀多人群对话字幕数据集，用于说话人建模研究。
• 研究并比较内容建模、时间建模与混合模型在说话人分类中的表现。
• 评估在神经说话人建模中结合说话人内容与时间顺序信息的有效性。
• 为未来说话人感知对话系统及相关自然语言处理应用的研究提供基础。

提出的方法

• 提出将说话人分类作为代理任务：从候选说话人集合中预测给定话语序列的说话人。
• 使用双向LSTM表示话语，将上下文内容编码为密集向量表示。
• 通过说话人产生的话语内容嵌入（内容建模）或其在对话流中的相对位置嵌入（时间建模）来建模说话人。
• 通过插值或可学习门控机制结合内容与时间表示，门控机制基于内容建模预测的置信度进行条件控制。
• 使用基于Softmax的分类层，将说话人嵌入作为可学习参数，采用交叉熵损失进行训练。
• 采用混合训练策略：分别训练内容模型与时间模型，然后使用经过验证的超参数g对预测结果进行插值。

实验结果

研究问题

• RQ1 说话人分类能否作为多人群对话中通用神经说话人建模的可行代理任务？
• RQ2 结合内容建模与时间建模的说话人表示在提升分类性能方面有多有效？
• RQ3 对预训练模型进行简单插值是否优于使用门控机制的端到端混合训练？
• RQ4 性能对控制内容与时间信息平衡的超参数的敏感度如何？
• RQ5 在低资源设置下，该方法能否泛化到罕见或未见的说话人？

主要发现

• 所提出的说话人分类任务具有可行性与有效性，内容建模模型显著优于多数类基线。
• 结合内容与时间信息的混合模型在宏平均F1分数上优于任一单独组件，表明二者具有互补优势。
• 对独立训练的内容与时间模型进行简单插值，优于端到端门控机制与自适应门控机制，表明其具有更好的优化稳定性。
• 最优插值权重g位于(0.6, 0.9)区间，表明在最佳性能模型中，内容信息的贡献大于时间信息。
• 自适应门控机制在动态平衡方面具有潜力，但在此设置下未超越固定插值基线。
• 包含超过8000个电视脱口秀剧集的数据集为说话人建模研究提供了丰富多样的资源，支持未来对话系统与语音处理相关研究。