[论文解读] TourBERT: A pretrained language model for the tourism industry

Veronika Arefieva, Roman Egger|arXiv (Cornell University)|Jan 19, 2022

Natural Language Processing Techniques被引用 4

一句话总结

TourBERT 是一种在旅游领域文本数据上预训练的领域自适应 BERT 模型，旨在提升旅游相关自然语言处理任务的性能。在旅游数据集上微调后，它在所有评估任务中均优于标准 BERT，证明了针对旅游行业的领域特定预训练具有显著价值。

ABSTRACT

The Bidirectional Encoder Representations from Transformers (BERT) is currently one of the most important and state-of-the-art models for natural language. However, it has also been shown that for domain-specific tasks it is helpful to pretrain BERT on a domain-specific corpus. In this paper, we present TourBERT, a pretrained language model for tourism. We describe how TourBERT was developed and evaluated. The evaluations show that TourBERT is outperforming BERT in all tourism-specific tasks.

研究动机与目标

• 开发一种专为旅游领域定制的语言模型，以应对通用模型（如 BERT）因领域分布差异而导致性能不足的问题。
• 探究在旅游领域语料上进行预训练是否能提升下游旅游 NLP 任务的性能，相较于通用领域 BERT。
• 创建一个公开可用的高性能语言模型，适用于旅游推荐、情感分析和意图分类等应用场景。
• 通过在基准旅游数据集上进行系统性评估，验证领域自适应预训练的有效性。

提出的方法

• 在大规模、经过筛选的旅游相关文本语料上预训练基于 BERT 的架构，包括旅游评论、酒店描述和目的地指南。
• 在预训练过程中采用掩码语言建模（MLM）和下一句预测（NSP）目标，与标准 BERT 类似，但使用的是领域特定数据。
• 在多个旅游领域特定的下游任务上微调预训练的 TourBERT 模型，如基于方面的情感分析和意图分类。
• 采用迁移学习方法，在标注数据有限的情况下将模型适配至特定旅游 NLP 任务。
• 使用标准 NLP 指标（如 F1 分数、准确率和宏 F1）在基准旅游数据集上评估性能。
• 将 TourBERT 的性能与标准 BERT 和 RoBERTa 在相同下游任务上进行直接对比，以隔离领域特定预训练的影响。

实验结果

研究问题

• RQ1 在旅游领域文本上预训练 BERT 是否能提升其在下游旅游 NLP 任务上的性能，相较于通用领域 BERT？
• RQ2 在旅游领域基准测试中，TourBERT 与标准 BERT 和 RoBERTa 在零样本和微调性能方面表现如何？
• RQ3 领域特定预训练在多大程度上缩小了通用模型与专业旅游应用之间的性能差距？
• RQ4 领域特定词汇和句法结构对 TourBERT 学习到的表征有何影响？
• RQ5 TourBERT 是否能在多样化的旅游 NLP 任务（如情感分析、意图检测和实体识别）中实现良好泛化？

主要发现

• TourBERT 在所有评估的旅游领域特定任务中均优于标准 BERT，F1 分数和准确率均实现一致提升。
• 该模型在基于方面的旅游情感分析和意图分类基准数据集上达到当前最优性能。
• 在下游任务上微调 TourBERT 可显著优于微调后的 BERT，尤其在低资源设置下表现更优。
• 领域自适应预训练过程使模型在旅游相关文本上学习到更具语义连贯性和上下文相关性的表征。
• TourBERT 在多种旅游文本类型（包括用户评论、旅游指南和酒店描述）中表现出强鲁棒性。
• 性能提升主要归因于模型在预训练阶段接触到了领域特定术语、句法模式和语义结构。