[论文解读] Smart Reply: Automated Response Suggestion for Email

Anjuli Kannan, Karol Kurach+9 more|arXiv (Cornell University)|Jun 15, 2016

Personal Information Management and User Behavior参考文献 21被引用 140

一句话总结

本文介绍 Smart Reply，一种端到端系统，使用 LSTMs、对回复进行半监督语义聚类的响应，以及一个触发模块，确保在生产中具有可扩展性和隐私保护，同时生成简短、多样化的邮件回复。

ABSTRACT

In this paper we propose and investigate a novel end-to-end method for automatically generating short email responses, called Smart Reply. It generates semantically diverse suggestions that can be used as complete email responses with just one tap on mobile. The system is currently used in Inbox by Gmail and is responsible for assisting with 10% of all mobile responses. It is designed to work at very high throughput and process hundreds of millions of messages daily. The system exploits state-of-the-art, large-scale deep learning. We describe the architecture of the system as well as the challenges that we faced while building it, like response diversity and scalability. We also introduce a new method for semantic clustering of user-generated content that requires only a modest amount of explicitly labeled data.

研究动机与目标

• 激发并解决在移动端环境中帮助用户撰写简短邮件回复的挑战。
• 开发一个端到端系统，能够生成高质量、多样化且可扩展的回复建议。
• 通过聚合数据并在有限内容检查的情况下运行来确保隐私。
• 在生产环境中平衡回复质量、实用性与多样性，同时满足延迟约束。

提出的方法

• 使用序列到序列的 LSTM 模型来对在收到邮件时可能的回复进行评分。
• 通过半监督图学习离线生成受限的回复集合 R，以确保高质量和可控的多样性。
• 通过从 R 中选择不冗余且具有不同语义意图的回复来强制实现多样性。
• 引入触发模型（前馈网络）来决定是否展示任何回复，从而降低不必要的计算。
• 通过在 Trie 中组织 R 并进行束搜索来实现对 R 的可扩展检索，复杂度为 O(b l)，其中 b 为束宽，l 为最大回复长度。
• 对回复进行归一化以惩罚过于通用的回复，在适当情况下强制正向/负向选项。

实验结果

研究问题

• RQ1 端到端系统是否能够在移动场景中生成简短、完整且有用的邮件回复？
• RQ2 在大规模回复空间中如何在保持可扩展性的同时确保高质量、多样化的回复选项？
• RQ3 哪些机制（触发、多样性约束）能够提升最终用户的实用性和生产效率？
• RQ4 基于半监督聚类的用户生成内容在定义回复语义意图方面有多大效果？

主要发现

• Smart Reply 在收件箱中的移动邮件回复中约占比约 10%。
• 触发模型过滤大约 11% 的消息，以避免不必要的评分。
• 基于 LSTM 的打分器和受限的回复空间能够产生连贯且可信的简短回复。
• 对 Trie 的束搜索实现可扩展的检索，在束宽为 128 时，前 N 个回复与全面评分的匹配度达到约 99%（在某些情况下）。
• 多样性和基于意图的聚类相比原始模型输出更有用（减少通用回复、增加多样性）。
• 基于半监督 Expander 的图学习为回复意图提供可解释的语义簇。