[论文解读] Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

Jimin Huang, Mengxi Xiao+42 more|arXiv (Cornell University)|Aug 20, 2024

Stock Market Forecasting Methods被引用 4

一句话总结

Open-FinLLMs 引入了一套开源的多模态大语言模型——FinLLaMA、FinLLaMA-instruct 和 FinLLaVA——通过在包含文本、表格和时间序列数据的 520 亿 token 金融语料上进行预训练，随后进行指令微调和多模态对齐，专为金融应用而设计。这些模型在 19 个零样本和 4 个 few-shot 金融基准测试中达到最先进性能，优于 LLaMA3-8B、BloombergGPT，甚至在多个任务中超越 GPT-4，在交易模拟中实现了高夏普比率。

ABSTRACT

Financial LLMs hold promise for advancing financial tasks and domain-specific applications. However, they are limited by scarce corpora, weak multimodal capabilities, and narrow evaluations, making them less suited for real-world application. To address this, we introduce extit{Open-FinLLMs}, the first open-source multimodal financial LLMs designed to handle diverse tasks across text, tabular, time-series, and chart data, excelling in zero-shot, few-shot, and fine-tuning settings. The suite includes FinLLaMA, pre-trained on a comprehensive 52-billion-token corpus; FinLLaMA-Instruct, fine-tuned with 573K financial instructions; and FinLLaVA, enhanced with 1.43M multimodal tuning pairs for strong cross-modal reasoning. We comprehensively evaluate Open-FinLLMs across 14 financial tasks, 30 datasets, and 4 multimodal tasks in zero-shot, few-shot, and supervised fine-tuning settings, introducing two new multimodal evaluation datasets. Our results show that Open-FinLLMs outperforms afvanced financial and general LLMs such as GPT-4, across financial NLP, decision-making, and multi-modal tasks, highlighting their potential to tackle real-world challenges. To foster innovation and collaboration across academia and industry, we release all codes (https://anonymous.4open.science/r/PIXIU2-0D70/B1D7/LICENSE) and models under OSI-approved licenses.

研究动机与目标

• 解决通用大语言模型在金融应用中缺乏全面金融知识和多模态能力的问题。
• 克服现有金融大语言模型在预训练和微调过程中对表格和时间序列数据利用不足的局限性。
• 通过在多样化金融场景（包括交易模拟）中评估模型，提升其泛化能力和现实适用性。
• 提供开源、指令微调且具备多模态能力的金融大语言模型，以加速金融与人工智能领域的研究与创新。

提出的方法

• 在包含文本、表格和时间序列数据的 520 亿 token 金融语料上预训练 FinLLaMA，以嵌入深层金融知识。
• 使用 57.3 万条金融指令对 FinLLaMA 进行微调，构建 FinLLaMA-instruct，从而提升在金融任务上的零样本和 few-shot 性能。
• 在 143 万张图像-文本指令对上训练 FinLLaVA，以实现对金融图表、表格和报告的多模态理解。
• 将模型集成到一个记忆增强型智能体（FinMem）中，该智能体可检索并推理短期、中期、长期及反思性洞察，以支持交易决策。
• 在 19 个零样本和 4 个 few-shot 数据集上评估模型，涵盖金融推理、实体识别和情感分析等任务。
• 使用累计收益率和夏普比率指标进行交易模拟，以评估在 TSLA、COIN、GOOG 和 NIO 等股票上的真实世界表现。

实验结果

研究问题

• RQ1 在包含表格和时间序列数据的多样化金融语料上预训练的大语言模型，是否能在零样本和 few-shot 金融推理任务中超越通用大语言模型？
• RQ2 在 57.3 万条金融指令上进行指令微调，相较于基础模型，能在多大程度上提升下游金融 NLP 任务的性能？
• RQ3 多模态大语言模型（FinLLaVA）在理解与推理金融图表和表格方面，相较于单模态模型表现如何？
• RQ4 将记忆增强型推理智能体（FinMem）与 Open-FinLLMs 集成，是否能在模拟环境中带来更优的交易表现？
• RQ5 Open-FinLLMs 在真实世界金融场景中的表现如何？具体体现在多个股票和时间段下的累计收益率与夏普比率？

主要发现

• FinLLaMA 在 19 个零样本和 4 个 few-shot 金融基准数据集上均优于 LLaMA3-8B、LLaMA3.1-8B 和 BloombergGPT。
• FinLLaMA-instruct 在 15 项评估的金融推理与分类任务中超越 GPT-4 及其他金融大语言模型。
• FinLLaVA 在 4 项多模态金融任务中对表格和图表的理解表现优异，表明其具备强大的视觉-语言对齐能力。
• 在交易模拟中，FinLLaMA 在 TSLA、COIN 和 NIO 上实现了高累计收益率和强劲的夏普比率，优于基线模型和买入并持有策略。
• 由 Open-FinLLMs 驱动的 FinMem 智能体通过整合多层记忆中的洞察，并结合推理与反思机制，生成了稳定且有充分依据的交易决策。
• 模型在多样化金融场景中展现出强大的泛化能力，涵盖动量交易、盈利预期和市场情绪分析等任务。