[论文解读] Towards Domain Adaptation from Limited Data for Question Answering Using Deep Neural Networks
本文研究了在有限标注数据条件下，针对专业领域问答任务的领域自适应方法，表明即使仅使用少量领域内数据微调预训练的 BERT 模型，也能取得优异性能。令人惊讶的是，标准迁移学习的表现优于无监督领域自适应技术，且通过重要性加权实现答案长度分布对齐可提升模型整体性能，尽管微调仍是领域自适应成功的主要决定因素。
This paper explores domain adaptation for enabling question answering (QA) systems to answer questions posed against documents in new specialized domains. Current QA systems using deep neural network (DNN) technology have proven effective for answering general purpose factoid-style questions. However, current general purpose DNN models tend to be ineffective for use in new specialized domains. This paper explores the effectiveness of transfer learning techniques for this problem. In experiments on question answering in the automobile manual domain we demonstrate that standard DNN transfer learning techniques work surprisingly well in adapting DNN models to a new domain using limited amounts of annotated training data in the new domain.
研究动机与目标
- 解决在新专业领域部署问答系统时，面临标注训练数据有限的挑战。
- 评估迁移学习技术在将通用问答模型适应至专业领域（如汽车手册）方面的有效性。
- 探究在领域内标注数据稀缺时，无监督领域自适应或基于答案长度的加权方法是否能提升性能。
- 确定预训练模型的初始性能是否影响其在数据量极少的新领域中的可适应性。
提出的方法
- 使用来自汽车手册领域的有限领域内标注数据对预训练的 BERT 基问答模型进行微调。
- 基于答案长度分布，对源领域训练样本应用重要性加权，以与目标领域对齐。
- 利用不同数量的领域内数据估计目标领域答案长度分布，以计算加权函数。
- 使用带有“auto”分箱的直方图估计方法，对源领域和目标领域中的答案长度概率分布进行建模。
- 通过重新加权的源领域数据训练模型，突出目标领域中答案长度相似的样本。
- 在相同测试集上比较标准迁移学习、重要性加权和无监督领域自适应技术的性能。
实验结果
研究问题
- RQ1标准迁移学习技术能否在仅使用少量领域内标注数据的情况下，有效将通用问答模型适应至新专业领域？
- RQ2通过重要性加权对齐源领域与目标领域之间的答案长度分布，是否能提升目标领域中的模型性能？
- RQ3当仅有有限标注数据可用时，无监督领域自适应的性能与有监督微调相比如何？
- RQ4预训练模型的初始准确率在多大程度上影响其在数据极少的新领域中的可适应性？
主要发现
- 使用仅 1000 个领域内标注样本对通用 BERT 基问答模型进行微调，即可获得约 0.70 的 F1 分数，显著优于通用模型。
- 基于答案长度分布的重要性加权，将通用模型的 F1 分数从 0.64 提升至 0.70，约占与领域专用模型之间差距的 30%。
- 重要性加权模型的性能几乎与标准微调模型完全一致，表明微调已涵盖分布加权的全部优势。
- 当在少于 1000 个领域内样本上微调时，重要性加权模型的性能略逊于标准微调模型，表明微调比单纯的分布调整更有效。
- 结果表明，即使在领域内数据有限的情况下，迁移学习依然非常有效，且用于预训练通用模型的数据量比其初始准确率对领域自适应成功的影响更大。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。