[论文解读] Pretrained Domain-Specific Language Model for General Information Retrieval Tasks in the AEC Domain

Zhe Zheng, Xinzheng Lu+3 more|arXiv (Cornell University)|Mar 9, 2022

Topic Modeling被引用 4

一句话总结

本文提出了一种针对建筑、工程与施工（AEC）领域的特定领域预训练语言模型，以提升通用信息检索（IR）任务的性能。该研究构建了定制化的AEC语料库，并微调基于BERT的模型，在F1分数上相比传统词嵌入模型最高提升10.1%，证明了领域自适应BERT在AEC信息检索任务中的优越性。

ABSTRACT

As an essential task for the architecture, engineering, and construction (AEC) industry, information retrieval (IR) from unstructured textual data based on natural language processing (NLP) is gaining increasing attention. Although various deep learning (DL) models for IR tasks have been investigated in the AEC domain, it is still unclear how domain corpora and domain-specific pretrained DL models can improve performance in various IR tasks. To this end, this work systematically explores the impacts of domain corpora and various transfer learning techniques on the performance of DL models for IR tasks and proposes a pretrained domain-specific language model for the AEC domain. First, both in-domain and close-domain corpora are developed. Then, two types of pretrained models, including traditional wording embedding models and BERT-based models, are pretrained based on various domain corpora and transfer learning strategies. Finally, several widely used DL models for IR tasks are further trained and tested based on various configurations and pretrained models. The result shows that domain corpora have opposite effects on traditional word embedding models for text classification and named entity recognition tasks but can further improve the performance of BERT-based models in all tasks. Meanwhile, BERT-based models dramatically outperform traditional methods in all IR tasks, with maximum improvements of 5.4% and 10.1% in the F1 score, respectively. This research contributes to the body of knowledge in two ways: 1) demonstrating the advantages of domain corpora and pretrained DL models and 2) opening the first domain-specific dataset and pretrained language model for the AEC domain, to the best of our knowledge. Thus, this work sheds light on the adoption and application of pretrained models in the AEC domain.

研究动机与目标

• 研究特定领域语料库和迁移学习对AEC领域深度学习模型在信息检索任务中性能的影响。
• 为AEC领域构建一个全面的领域内及近域语料库，以支持模型预训练。
• 在AEC领域的多个信息检索任务中，评估并比较传统词嵌入模型与基于BERT的模型。
• 通过发布首个公开可用的AEC领域特定数据集和预训练语言模型，建立新的基准。

提出的方法

• 从技术文档、报告和项目规范中构建大规模领域内AEC语料库。
• 从相关但非AEC的技术领域构建近域语料库，以评估模型的可迁移性。
• 使用掩码语言建模方法，在特定领域语料库上对传统词嵌入模型（如Word2Vec、GloVe）和基于BERT的模型进行预训练。
• 使用不同配置的预训练模型，对多个下游IR模型（如文本分类和命名实体识别）进行微调。
• 使用标准指标（如F1分数）在多个IR任务上评估模型性能。
• 应用迁移学习策略，包括基于特征的方法和微调方法，以评估其对模型泛化能力的影响。

实验结果

研究问题

• RQ1 特定领域语料库在AEC信息检索任务中对传统词嵌入模型性能有何影响？
• RQ2 基于BERT的模型在AEC文本分类和命名实体识别任务中，相较于传统模型能提升多少性能？
• RQ3 在AEC领域中，应用迁移学习技术对特定领域预训练的影响如何？
• RQ4 预训练语料库的规模和领域相关性对下游IR性能有何影响？
• RQ5 特定领域预训练语言模型是否能在多个AEC信息检索任务中显著提升F1分数？

主要发现

• 在所有信息检索任务中，特定领域语料库均提升了基于BERT的模型性能，与基线模型相比，F1分数最高提升10.1%。
• 传统词嵌入模型在领域语料库上训练后表现不一——在文本分类任务中有所提升，但在命名实体识别任务中性能下降。
• 在文本分类任务中，基于BERT的模型相比传统模型F1分数最高提升5.4%；在命名实体识别任务中，最高提升10.1%。
• 在预训练阶段使用领域内语料库，使基于BERT的模型持续获得性能增益，凸显了领域特定数据在迁移学习中的价值。
• 所提出的特定领域预训练语言模型在多个AEC信息检索基准上达到最先进性能，验证了其有效性。