[论文解读] Transfer Learning for Context-Aware Question Matching in Information-seeking Conversations in E-commerce

Minghui Qiu, Yang Liu+7 more|arXiv (Cornell University)|Jun 14, 2018

Topic Modeling参考文献 25被引用 11

一句话总结

本文提出了一种基于卷积神经网络与迁移学习的高效且有效的多轮对话匹配模型 MT-hCNN，以提升电商聊天机器人中的上下文感知问题匹配能力。通过用 CNN 替代 RNN 并引入对抗性域自适应，该模型在阿里小蜜线上部署中实现了 60% 的推理速度提升以及 5–10% 的 CTR 提升，达到 SOTA 性能。

ABSTRACT

Building multi-turn information-seeking conversation systems is an important and challenging research topic. Although several advanced neural text matching models have been proposed for this task, they are generally not efficient for industrial applications. Furthermore, they rely on a large amount of labeled data, which may not be available in real-world applications. To alleviate these problems, we study transfer learning for multi-turn information seeking conversations in this paper. We first propose an efficient and effective multi-turn conversation model based on convolutional neural networks. After that, we extend our model to adapt the knowledge learned from a resource-rich domain to enhance the performance. Finally, we deployed our model in an industrial chatbot called AliMe Assist (https://consumerservice.taobao.com/online-help) and observed a significant improvement over the existing online model.

研究动机与目标

• 解决现有神经匹配模型在工业电商应用中效率低下的问题。
• 通过利用迁移学习，减少多轮对话系统对大规模标注数据的依赖。
• 利用资源丰富的源域知识，提升低资源目标域中的上下文感知问题匹配性能。
• 开发一种可扩展且高效的模型，适用于高流量电商聊天机器人的实时部署。
• 展示使用双域判别器的对抗性训练在跨域特征对齐方面的有效性。

提出的方法

• 提出 MT-hCNN，一种基于多轮混合 CNN 的模型，结合句子编码（SE-based）与句子交互（SI-based）CNN 模块，用于话语与回复的表征。
• 在序列匹配网络（SMN）中用 CNN 和全连接层替代 RNN 层，以提升推理速度，同时保持性能。
• 引入包含共享编码器、领域特定编码器及对抗性训练的迁移学习模块，以学习领域不变特征。
• 在源域和目标域特征上添加领域判别器，以增强领域特定特征学习并提升泛化能力。
• 使用每查询 15 个候选问题的迷你批量推理，以加速实时部署中的在线打分。
• 通过梯度反转进行对抗性训练，实现跨域共享特征对齐，同时保留领域特定特征。

实验结果

研究问题

• RQ1 基于 CNN 的模型是否能在显著提升推理效率的同时，实现与 RNN 模型（如 SMN）相当的性能？
• RQ2 当存在大规模源域时，迁移学习在提升低资源目标域性能方面的有效性如何？
• RQ3 与标准对抗性域自适应相比，在源域和目标域特征上同时添加领域判别器是否能提升模型泛化能力？
• RQ4 所提出的模型是否能有效部署于真实工业聊天机器人中，以提升 CTR 等用户参与度指标？
• RQ5 在多轮电商对话的上下文感知问题匹配中，模型效率与性能之间的权衡如何？

主要发现

• MT-hCNN 在基准数据集上的性能与 SMN 相当或更优，同时将推理时间减少了约 60%。
• 在由两个服务实例组成的集群（每个实例 2 核 CPU 和 4GB 内存）上，模型支持每秒 40 个查询的峰值吞吐量。
• 结合领域判别器的迁移学习在目标域（AliMeData）上提升了性能，MAP 达到 0.8523，优于基线方法 TL-S（MAP 0.8521）。
• 线上 A/B 测试显示，与现有线上模型（CTR：0.266–0.291 vs. 0.194–0.221）相比，使用本模型可使点击率（CTR）提升 5–10%。
• 仅使用目标数据的 Tgt-only 基线优于仅使用源数据的 Src-only 基线，表明源域与目标域之间存在领域偏移，但迁移学习仍带来可测量的性能增益。
• 在源域和目标域特征上同时引入领域判别器，相较于 TL-S 基线，R@5（0.8125 vs. 0.8022）和 R@2（0.4881 vs. 0.4812）均有可测量的提升。