[论文解读] Reinforcement Learning Based Emotional Editing Constraint Conversation Generation

Jia Li, Xiao Sun+3 more|arXiv (Cornell University)|Apr 17, 2019

Topic Modeling参考文献 15被引用 18

一句话总结

本文提出了一种基于强化学习的对话生成模型，通过整合情感编辑约束，生成更加流畅、上下文相关且情感丰富的回复。通过将响应生成划分为三个阶段，并利用情感编辑器基于预定义关键词和情感模板对输出进行优化，该模型显著提升了情感相关性和连贯性，在流畅性、主题一致性和情感准确性方面优于现有方法。

ABSTRACT

In recent years, the generation of conversation content based on deep neural networks has attracted many researchers. However, traditional neural language models tend to generate general replies, lacking logical and emotional factors. This paper proposes a conversation content generation model that combines reinforcement learning with emotional editing constraints to generate more meaningful and customizable emotional replies. The model divides the replies into three clauses based on pre-generated keywords and uses the emotional editor to further optimize the final reply. The model combines multi-task learning with multiple indicator rewards to comprehensively optimize the quality of replies. Experiments shows that our model can not only improve the fluency of the replies, but also significantly enhance the logical relevance and emotional relevance of the replies.

研究动机与目标

• 解决现有神经对话模型生成通用化、情感平淡回复的局限性。
• 通过引入显式的情感编辑约束，提升生成回复的情感表达力。
• 通过联合优化流畅性、主题相关性和情感准确性，实现多任务学习以提升响应质量。
• 开发一种三阶段生成流程，以实现对情感基调和内容结构的更好控制。

提出的方法

• 模型将回复生成划分为三个迭代阶段：初始响应生成、基于关键词的模板选择，以及情感编辑优化。
• 情感编辑器根据输入主题和期望情感选择相关句子模板，并利用先验知识优化生成的响应。
• 应用强化学习并采用多任务奖励，联合优化流畅性、主题连贯性和情感相关性。
• 模型采用序列到序列框架，并通过情感类别向量和注意力机制增强上下文建模能力。
• 采用多任务学习设置，协调优化三个目标：响应流畅性、主题一致性与情感准确性。
• 情感编辑机制利用预识别的关键词和情感模板，执行平滑处理、重述和情感强化。

实验结果

研究问题

• RQ1 使用多任务奖励的强化学习能否同时提升对话生成中的流畅性与情感相关性？
• RQ2 引入情感编辑阶段如何影响生成回复的质量与表现力？
• RQ3 基于关键词的模板选择在开放域对话系统中能在多大程度上提升情感精确度？
• RQ4 与标准自回归模型相比，三阶段生成流程是否能有效减少通用化和重复性回复？
• RQ5 情感编辑约束是否能在不牺牲流畅性的前提下，生成更具连贯性和上下文相关性的回复？

主要发现

• 在测试集上，该模型达到最低困惑度（61.4）和最高情感准确性（86.9%），优于所有对比模型。
• 该模型在流畅性和情感准确性方面均优于SentiGAN和E-SCBA，情感准确性较基线Seq2Seq模型提升10.2%。
• 情感编辑器的引入显著提升性能，与无编辑的模型相比，困惑度降低3.6点，情感准确性提升9.4%。
• 模型在响应各位置表现出更优的词汇多样性，词分布可视化中颜色强度衰减更慢，表明长距离连贯性更强，重复性更低。
• 案例研究显示，该模型能生成情感丰富且上下文恰当的回复，例如针对“快乐”情绪生成“我从没见过这么可爱的蛋糕！”，针对“愤怒”情绪生成“这么糟糕的天气！”，而其他模型则多生成情感中立的回复。
• 通过整合先验知识（关键词与模板），该模型的响应质量得到增强，生成结果更加自然、流畅且情感突出。