[论文解读] Sensitivity Analysis on Transferred Neural Architectures of BERT and GPT-2 for Financial Sentiment Analysis

Tracy Qian, Andy Xie+1 more|arXiv (Cornell University)|Jul 7, 2022

Stock Market Forecasting Methods被引用 5

一句话总结

本研究调查了 BERT 和 GPT-2 在金融情感分析中的微调性能及参数敏感性。通过分析冻结层、批量大小和初始学习率，发现 BERT 的参数在微调过程中对随机性高度敏感，而 GPT-2 展现出更高的稳定性，且两个模型的早期层均保留了关键的词模式信息。

ABSTRACT

The explosion in novel NLP word embedding and deep learning techniques has induced significant endeavors into potential applications. One of these directions is in the financial sector. Although there is a lot of work done in state-of-the-art models like GPT and BERT, there are relatively few works on how well these methods perform through fine-tuning after being pre-trained, as well as info on how sensitive their parameters are. We investigate the performance and sensitivity of transferred neural architectures from pre-trained GPT-2 and BERT models. We test the fine-tuning performance based on freezing transformer layers, batch size, and learning rate. We find the parameters of BERT are hypersensitive to stochasticity in fine-tuning and that GPT-2 is more stable in such practice. It is also clear that the earlier layers of GPT-2 and BERT contain essential word pattern information that should be maintained.

研究动机与目标

• 评估微调后的 BERT 和 GPT-2 在金融情感分析中的性能与鲁棒性。
• 评估模型参数对学习率、批量大小和层冻结等超参数的敏感性。
• 识别 BERT 和 GPT-2 中在微调过程中最能保留词模式信息的层。
• 比较 BERT 和 GPT-2 在随机微调条件下的稳定性。

提出的方法

• 在金融情感分析数据集上对预训练的 BERT 和 GPT-2 模型进行微调，采用受控的超参数设置。
• 系统性地改变学习率、批量大小以及冻结的 Transformer 层数量，以评估性能与稳定性。
• 通过准确率和 F1 分数等标准分类指标，在多个随机种子下测量模型性能。
• 通过观察在相同超参数设置下多次微调运行中性能的方差，分析参数敏感性。
• 通过分析两个模型中早期与后期 Transformer 层的贡献，研究特征重要性。
• 使用统计分析比较 BERT 和 GPT-2 在相同微调协议下性能方差的差异。

实验结果

研究问题

• RQ1 学习率如何影响微调后的 BERT 和 GPT-2 在金融情感分析中的性能与稳定性？
• RQ2 批量大小对 BERT 和 GPT-2 微调结果一致性有何影响？
• RQ3 冻结不同数量的 Transformer 层如何影响模型性能与敏感性？
• RQ4 BERT 和 GPT-2 的参数在微调过程中对随机性敏感到何种程度？
• RQ5 BERT 和 GPT-2 中哪些层包含了对金融情感分类最关键的词模式信息？

主要发现

• BERT 在微调过程中对随机性表现出高度敏感性，即使使用相同的超参数，其性能在多次运行中也存在显著差异。
• GPT-2 在微调过程中表现出更高的稳定性，其性能在重复试验中方差较低。
• BERT 和 GPT-2 的早期层均包含对情感分类至关重要的词模式信息。
• 冻结早期层导致的性能下降远大于冻结后期层，表明其在模型中的基础性作用。
• 当仅微调最后几层时可实现最优性能，尤其对 BERT 而言，因其对参数变化高度敏感。
• 批量大小和学习率对性能方差的影响虽可测量，但相较于模型架构和初始化随机性，其影响程度较弱。