[论文解读] WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain

Raj Sanjay Shah, Kunal Chawla+8 more|arXiv (Cornell University)|Oct 31, 2022

Stock Market Forecasting Methods被引用 6

一句话总结

本论文提出 FLANG，一种用于金融领域的特定领域预训练语言模型，通过金融关键词和短语掩码结合跨度边界目标，提升多词表示学习能力。同时，本文还提出了 FLUE，一个涵盖五个金融 NLP 任务的综合性基准测试套件。FLANG-BERT 和 FLANG-ELECTRA 在所有基准测试中均达到最先进性能，优于先前的模型如 FinBERT 和 BERT，在情感分析、分类和问答任务中表现更优。

ABSTRACT

Pre-trained language models have shown impressive performance on a variety of tasks and domains. Previous research on financial language models usually employs a generic training scheme to train standard model architectures, without completely leveraging the richness of the financial data. We propose a novel domain specific Financial LANGuage model (FLANG) which uses financial keywords and phrases for better masking, together with span boundary objective and in-filing objective. Additionally, the evaluation benchmarks in the field have been limited. To this end, we contribute the Financial Language Understanding Evaluation (FLUE), an open-source comprehensive suite of benchmarks for the financial domain. These include new benchmarks across 5 NLP tasks in financial domain as well as common benchmarks used in the previous research. Experiments on these benchmarks suggest that our model outperforms those in prior literature on a variety of NLP tasks. Our models, code and benchmark data are publicly available on Github and Huggingface.

研究动机与目标

• 为解决金融 NLP 领域中缺乏利用金融术语和多词短语的特定领域预训练技术的问题。
• 通过在预训练过程中整合金融词汇和短语级掩码，克服通用预训练的局限性。
• 开发一个全面的、开源的基准测试套件（FLUE），用于在多个任务上评估金融 NLP 模型。
• 提升在金融特定 NLP 任务（如情感分析、命名实体识别和问答）中的性能。
• 提供公开可获取的模型和代码，以加速金融 NLP 领域的研究。

提出的方法

• 使用标准掩码语言建模与跨度边界目标相结合的方式预训练模型，其中生成器预测被掩码的跨度，判别器判断标记是真实还是被替换的。
• 在预训练过程中，优先对金融词汇进行掩码，包括单个词语和多词短语（例如，'margin call'，'break-even analysis'）。
• 在通用英语数据（如 Wikipedia、BooksCorpus）和特定领域的金融语料库的混合数据上训练模型，以增强领域适应能力。
• 引入多阶段掩码策略：首先使用金融词汇（FV）；然后应用短语级掩码（PFV）；最后添加跨度边界目标（SBO）。
• 在下游任务上，使用 FLUE 基准测试套件对最终的判别器头进行微调。
• 将该方法适配至 BERT 和 ELECTRA 架构，分别得到 FLANG-BERT 和 FLANG-ELECTRA 模型。

实验结果

研究问题

• RQ1 对金融术语和短语进行优先掩码，是否能提升预训练语言模型在金融 NLP 任务中的性能？
• RQ2 在预训练过程中引入跨度边界目标，是否能增强模型学习稳健金融多词表示的能力？
• RQ3 特定领域的预训练策略是否能在金融基准任务上显著超越通用预训练？
• RQ4 FLUE 基准测试套件在多大程度上实现了金融语言模型的可靠且标准化评估？
• RQ5 FLANG 模型在多种金融 NLP 任务中与现有模型（如 FinBERT 和 BERT）相比表现如何？

主要发现

• FLANG-BERT 在验证集上的困惑度为 19.53，显著低于 BERT-base（23.66）和 FinBERT（21.11），表明其在金融文本语言建模方面表现更优。
• 包含所有组件（AD + PFV + SBO）的 FLANG-ELECTRA 模型困惑度为 17.34，优于基础 ELECTRA 模型（20.10）及其他所有基线模型。
• FLANG-BERT 在所有 FLUE 基准测试任务中均优于 FinBERT，包括金融情感分析、新闻分类和问答任务，尽管参数量相同。
• 性能提升在金融特定任务（如情感分析和问答）中最为显著，而在通用任务（如命名实体识别）中的提升则相对有限。
• 跨度边界目标和短语级掩码对性能有显著贡献，表现为在训练各阶段中困惑度的逐步降低（例如，从 19.20 降至 17.34，加入 SBO 后）。
• FLANG 模型在 FLUE 基准测试的全部五项任务中均达到最先进水平，证明了所提出预训练方法的有效性。