[论文解读] Neural Emoji Recommendation in Dialogue Systems

Ruobing Xie, Zhiyuan Liu+2 more|arXiv (Cornell University)|Dec 14, 2016

Topic Modeling参考文献 12被引用 26

一句话总结

本文提出一种分层长短期记忆网络（H-LSTM）模型，用于多轮对话系统中的神经表情符号推荐，通过利用上下文对话表征来提升表情符号分类性能。H-LSTM在所有指标上均优于标准LSTM和基线模型，展现出更强的捕捉长期情感上下文和对话中上下文依赖关系的能力。

ABSTRACT

Emoji is an essential component in dialogues which has been broadly utilized on almost all social platforms. It could express more delicate feelings beyond plain texts and thus smooth the communications between users, making dialogue systems more anthropomorphic and vivid. In this paper, we focus on automatically recommending appropriate emojis given the contextual information in multi-turn dialogue systems, where the challenges locate in understanding the whole conversations. More specifically, we propose the hierarchical long short-term memory model (H-LSTM) to construct dialogue representations, followed by a softmax classifier for emoji classification. We evaluate our models on the task of emoji classification in a real-world dataset, with some further explorations on parameter sensitivity and case study. Experimental results demonstrate that our method achieves the best performances on all evaluation metrics. It indicates that our method could well capture the contextual information and emotion flow in dialogues, which is significant for emoji recommendation.

研究动机与目标

• 为解决在多轮对话中推荐合适表情符号的挑战，通过利用丰富的上下文信息。
• 通过建模对话轮次间长期情感依赖关系，提升表情符号分类性能。
• 探究模型架构与超参数对表情符号预测鲁棒性的影响。
• 通过案例研究分析模型行为，识别其在上下文理解方面的优势与局限。
• 通过精准的表情符号推荐，为构建更自然、更具情感表达力的对话系统奠定基础。

提出的方法

• 提出一种分层长短期记忆（H-LSTM）网络，用于在话语层级和对话层级同时编码多轮对话的上下文。
• 使用词嵌入和双向LSTM对单个话语进行编码，随后将其聚合为对话层级的表征。
• 在最终的对话层级隐藏状态上应用Softmax分类器，从大规模候选集预测表情符号标签。
• 通过超参数调优与消融实验，评估模型对词嵌入维度和隐藏状态维度的敏感性。
• 在包含多轮对话及表情符号标注的真实世界对话数据集上评估模型性能。
• 开展案例研究，分析模型在上下文中的预测表现，对比H-LSTM与标准LSTM（S-LSTM），并分析失败案例。

实验结果

研究问题

• RQ1 与仅依赖回复文本相比，建模多轮对话上下文是否能显著提升表情符号分类性能？
• RQ2 H-LSTM架构在捕捉上下文情感流动方面，相较于标准LSTM和其他基线模型表现如何？
• RQ3 模型性能对超参数（如词嵌入维度和隐藏状态维度）的敏感性如何？
• RQ4 在何种场景下H-LSTM与S-LSTM模型在表情符号预测中表现成功或失败，原因是什么？
• RQ5 主观且灵活的表情符号使用方式如何影响模型实现准确、细致预测的能力？

主要发现

• H-LSTM模型在所有评估指标上均表现最佳，在真实世界对话数据集上优于标准LSTM和其他基线模型。
• 当词嵌入维度和隐藏状态维度均为384时达到最优性能，超过该值后性能下降，原因可能是过拟合或饱和。
• H-LSTM成功捕捉了长期上下文依赖关系，在仅凭回复语句无法判断的情况下（如前序对话隐含的语境），仍能正确推荐‘delicious’等表情符号。
• 在情绪突然转变的场景中，H-LSTM可能因过度依赖长期记忆而失效，而S-LSTM则可能因更关注短期线索而表现更优。
• 当多个高度相似的表情符号（如‘laugh’、‘heart’、‘shy’）在上下文中均合理时，模型难以区分，表明其在细微情感理解方面存在局限。
• 案例研究揭示，在情感丰富的对话中，表情符号的选择本质上具有歧义性，凸显了在自动化系统中实现人类级细腻理解的挑战。