[论文解读] Support-BERT: Predicting Quality of Question-Answer Pairs in MSDN using Deep Bidirectional Transformer

Bhaskar Sen, Nikhil Gopal+1 more|arXiv (Cornell University)|May 17, 2020

Expert finding and Q&A systems参考文献 35被引用 7

一句话总结

本文提出 Support-BERT，一种在 Microsoft Developer Network (MSDN) Q&A 数据上进行微调的 BERT 模型，用于预测社区支持论坛中问答对的质量。通过利用迁移学习和领域特定的微调，该模型在分类高质量问答对时准确率超过 80%，并通过 AzureML 实现实时部署，推理延迟低于 110ms。

ABSTRACT

Quality of questions and answers from community support websites (e.g. Microsoft Developers Network, Stackoverflow, Github, etc.) is difficult to define and a prediction model of quality questions and answers is even more challenging to implement. Previous works have addressed the question quality models and answer quality models separately using meta-features like number of up-votes, trustworthiness of the person posting the questions or answers, titles of the post, and context naive natural language processing features. However, there is a lack of an integrated question-answer quality model for community question answering websites in the literature. In this brief paper, we tackle the quality Q&A modeling problems from the community support websites using a recently developed deep learning model using bidirectional transformers. We investigate the applicability of transfer learning on Q&A quality modeling using Bidirectional Encoder Representations from Transformers (BERT) trained on a separate tasks originally using Wikipedia. It is found that a further pre-training of BERT model along with finetuning on the Q&As extracted from Microsoft Developer Network (MSDN) can boost the performance of automated quality prediction to more than 80%. Furthermore, the implementations are carried out for deploying the finetuned model in real-time scenario using AzureML in Azure knowledge base system.

研究动机与目标

• 解决在类似 MSDN 的技术社区论坛中缺乏用于预测问答对综合质量的集成模型的问题。
• 探究使用 BERT 进行迁移学习是否能超越传统元特征，在技术问答内容的质量预测中提升性能。
• 开发一种高性能、低延迟的模型，适用于 Azure 知识库等生产系统中的实时部署。
• 证明对问答对进行端到端建模优于对问题和答案分别建模。
• 实现在无需明确定义“质量”标准的情况下，对问答对进行自动化、类专家级的质量评估。

提出的方法

• 使用迁移学习在 MSDN Q&A 数据上微调预训练 BERT 模型，以适应技术社区支持语言。
• 在 MSDN 数据上使用掩码语言建模和下一句预测目标进行领域特定的预训练，共训练 10 个周期。
• 对成对的问答实例进行端到端微调，将每个问答对作为序列输入送入 BERT 模型。
• 使用 Azure Machine Learning (AzureML) 服务部署最终模型，注册模型并作为 Azure 容器实例 (ACI) 部署在 Azure Kubernetes Service (AKS) 上。
• 通过使用 GPU 加速的 Azure NC-6 虚拟机优化推理延迟，并在不同接受比率的测试集上验证性能。
• 在 AzureML 中使用 TensorFlow API 进行训练，确保模型可复现性，并与开源工具保持互操作性。

实验结果

研究问题

• RQ1 基于 BERT 的模型能否有效预测类似 MSDN 的技术社区论坛中问答对的综合质量？
• RQ2 在 MSDN Q&A 数据上进行领域特定的预训练，是否相比使用通用 BERT 模型能显著提升质量预测性能？
• RQ3 深度学习模型能否在保持低推理延迟的同时实现高准确率的问答质量预测，以满足实时部署需求？
• RQ4 模型在测试数据中接受答案与未接受答案比例不同时，性能如何变化？
• RQ5 NLP 特征在质量预测中的表现，与传统元特征（如点赞数、用户信任度）相比，能提升多少？

主要发现

• Support-BERT 模型在 1:1 接受与未接受比率的测试集上，识别高质量问答对的准确率达到 82%。
• 在更具现实意义的 1:3 接受与未接受比率测试集上，模型准确率仍保持在 77.41%，表明其对类别不平衡具有强鲁棒性。
• 模型的推理延迟平均为 110 ms，证实其适用于生产系统中的实时部署。
• 在 MSDN 数据上进行领域特定预训练，随后进行微调，显著提升了性能，优于基线 BERT 模型。
• 该模型优于仅依赖点赞等元特征的现有 Azure 知识库系统，证明了基于 NLP 的内容建模的价值。
• 使用 AzureML 和 AKS 的部署管道实现了可扩展的低延迟推理和模型版本管理，支持集成到企业级知识系统中。