[论文解读] soc2seq: Social Embedding meets Conversation Model

Parminder Bhatia, Marsal Gavaldà+1 more|arXiv (Cornell University)|Feb 17, 2017

Machine Learning in Bioinformatics参考文献 18被引用 6

一句话总结

本文提出 soc2seq，一种神经对话模型，通过整合社交图谱结构、用户特定的对话风格以及基于位置的上下文，生成个性化的自动回复建议。通过将基于注意力的 seq2seq 模型与社交嵌入相结合，其在强基线模型上实现了 15.81% 的 ROUGE 得分提升，证明了个性化和回复相关性的增强。

ABSTRACT

While liking or upvoting a post on a mobile app is easy to do, replying with a written note is much more difficult, due to both the cognitive load of coming up with a meaningful response as well as the mechanics of entering the text. Here we present a novel textual reply generation model that goes beyond the current auto-reply and predictive text entry models by taking into account the content preferences of the user, the idiosyncrasies of their conversational style, and even the structure of their social graph. Specifically, we have developed two types of models for personalized user interactions: a content-based conversation model, which makes use of location together with user information, and a social-graph-based conversation model, which combines content-based conversation models with social graphs.

研究动机与目标

• 为解决 Yik Yak 等移动社交应用中通用且非个性化的回复生成所存在的局限性。
• 通过整合用户特定的对话风格、位置上下文和社交图谱结构，改进自动回复建议。
• 通过从社交互动中提取的分布式嵌入建模用户人格，减少回复的通用性并提升相关性。
• 通过使用社交图谱嵌入，缓解个性化回复生成中的数据稀疏性和冷启动问题。

提出的方法

• 提出双模型框架：基于位置和用户的对话模型，以及融合用户嵌入与对话历史的社交图谱增强模型。
• 采用基于注意力的 seq2seq LSTM 架构，为输入上下文和响应生成分别设置独立编码器，实现上下文感知的解码。
• 利用社交图谱数据（点赞、评论）预训练用户嵌入，捕捉具有相似回复行为的用户聚类。
• 通过对话历史和社交互动数据联合微调用户嵌入，以提升个性化程度并降低困惑度。
• 采用 ROUGE 和困惑度作为评估指标，分别衡量 n-gram 重叠程度和生成质量。
• 将用户和位置嵌入集成到解码器和编码器网络中，并通过消融实验评估各组件的贡献。

实验结果

研究问题

• RQ1 将社交图谱结构整合到神经对话模型中，是否能显著提升自动回复建议的个性化和相关性？
• RQ2 与通用的 seq2seq 基线相比，整合用户特定对话风格和位置上下文对回复质量有何影响？
• RQ3 基于社交图谱的嵌入在多大程度上缓解了个性化回复生成中的数据稀疏性和冷启动问题？
• RQ4 将用户嵌入同时应用于编码器和解码器输入，是否能提升回复质量，还是在匿名环境中引入了噪声？

主要发现

• 经过调优的社交用户模型相比标准 LSTM 基线，ROUGE F1 得分提升 15.81%，ROUGE-L 得分为 32.60，高于基线的 29.26。
• 基于位置的模型将困惑度降低至 72.7（解码器与编码器），相比标准 LSTM 基线（79.1）显著提升 8%。
• 基于用户的模型表现劣于基线（困惑度 80.7），可能由于数据稀疏性以及嵌入维度过高（10 万个用户 vs. 1 万个位置）。
• 仅使用预训练的社交图谱嵌入即可提升性能（困惑度 72.4），即使未进行微调，表明社交互动模式能捕捉有意义的回复风格聚类。
• 通过社交和对话数据联合微调用户嵌入，使困惑度降低 1.5 个百分点（从 72.4 降至 70.9），证实了联合学习的价值。
• 仅在解码器中使用用户嵌入的模型优于同时在编码器和解码器中使用的版本，表明在匿名环境中，说话人身份本身并不能提升回复质量。