[论文解读] PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance

Qianqian Xie, Weiguang Han+5 more|arXiv (Cornell University)|Jun 8, 2023

Stock Market Forecasting Methods被引用 43

一句话总结

PIXIU 发布 FinMA，是基于 LLaMA 的开源金融领域 LLM，使用大型多任务、多模态指令数据集（FIT）和评估基准（FLARE）进行微调；FinMA 在金融 NLP 任务上表现出色，但在复杂问答和股票动向预测方面仍有提升空间。

ABSTRACT

Although large language models (LLMs) has shown great performance on natural language processing (NLP) in the financial domain, there are no publicly available financial tailtored LLMs, instruction tuning datasets, and evaluation benchmarks, which is critical for continually pushing forward the open-source development of financial artificial intelligence (AI). This paper introduces PIXIU, a comprehensive framework including the first financial LLM based on fine-tuning LLaMA with instruction data, the first instruction data with 136K data samples to support the fine-tuning, and an evaluation benchmark with 5 tasks and 9 datasets. We first construct the large-scale multi-task instruction data considering a variety of financial tasks, financial document types, and financial data modalities. We then propose a financial LLM called FinMA by fine-tuning LLaMA with the constructed dataset to be able to follow instructions for various financial tasks. To support the evaluation of financial LLMs, we propose a standardized benchmark that covers a set of critical financial tasks, including five financial NLP tasks and one financial prediction task. With this benchmark, we conduct a detailed analysis of FinMA and several existing LLMs, uncovering their strengths and weaknesses in handling critical financial tasks. The model, datasets, benchmark, and experimental results are open-sourced to facilitate future research in financial AI.

研究动机与目标

• 激励开放、遵循指令的金融领域 LLM 及经过筛选的数据集的需求。
• 通过对 LLaMA 进行多任务、多模态金融指令微调来创建 FinMA。
• Develop FIT，第一个大规模金融指令微调数据集（136K 样本）。
• 提出 FLARE，一个涵盖金融 NLP 和预测任务的整体基准。
• 提供开放资源以促进金融 AI 的研究。

提出的方法

• From: Construct FIT from open-source financial datasets spanning NLP and stock prediction, with multi-modal data (text, tables, time-series).
• Design domain-specific instructions per task and assemble instruction-tuning samples (Instruction, Text/Context, Response).
• Fine-tune LLaMA models (7B and 30B, plus a 7B-full variant) on FIT using AdamW, specified hyperparameters, and multi-epoch schedules.
• Create FLARE with 4 financial NLP tasks across 6 datasets and 1 financial prediction task across 3 datasets; standard evaluation metrics per task.
• Compare FinMA against BloombergGPT, GPT-4, ChatGPT, BLOOM, GPT-NeoX, OPT-66B, and Vicuna-13B on FLARE in zero-shot and few-shot settings.

实验结果

研究问题

• RQ1 开放的金融指令数据和模型是否能够缩小与专有 LLM 在金融领域的差距？
• RQ2 多任务、多模态指令微调如何影响 FinMA 在金融任务上的表现？
• RQ3 与基线相比，FinMA 在金融 NLP 和预测任务上的优势与局限性？
• RQ4 模型规模和指令数据质量如何影响 FLARE 任务的性能？

主要发现

• FinMA 在 FPB、FiQA-SA 和 Headline NLP 任务上显著超越若干 LLM（例如，FinMA-30B 在 FPB 的 F1 提升约 10% 比 GPT-4；相较 BloombergGPT 提升约 37% 的 F1）。
• FinMA 还在命名实体识别（NER）任务上取得具竞争力的结果，超越 BloombergGPT 等。
• 在复杂数值推理任务（FinQA、ConvFinQA）上，FinMA 落后于 GPT-4 和 BloombergGPT，原因是主干模型（LLaMA）在定量推理方面的局限性。
• 在股票动向预测方面，所有 LLM 的表现都有限；FinMA-7B-full 在 ACL18 上有改进，但在其他数据集上仍然较弱，凸显任务难度。
• FinMA-full（使用 NLP 和预测数据训练）在 ACL18 上表现最强，且 NLP 结果具有竞争力，表明领域对齐、任务全面微调的价值。
• 研究指出，对大量任务而言，指令数据质量和任务对齐可能比单纯增加模型规模更为关键。