[论文解读] WeaverBird: Empowering Financial Decision-Making with Large Language Model, Knowledge Base, and Search Engine

Siqiao Xue, Fan Zhou+11 more|arXiv (Cornell University)|Aug 10, 2023

Impact of AI and Big Data on Business and Society被引用 4

一句话总结

WeaverBird 是一种结合了微调 GPT 基础大语言模型、本地金融知识库和搜索引擎的检索增强架构的金融领域专用大语言模型。它能生成准确且附有引用依据的回答，针对复杂金融问题表现出优于基线模型的性能，在用户研究和现实世界金融决策任务中表现优异。

ABSTRACT

We present WeaverBird, an intelligent dialogue system designed specifically for the finance domain. Our system harnesses a large language model of GPT architecture that has been tuned using extensive corpora of finance-related text. As a result, our system possesses the capability to understand complex financial queries, such as "How should I manage my investments during inflation?", and provide informed responses. Furthermore, our system incorporates a local knowledge base and a search engine to retrieve relevant information. The final responses are conditioned on the search results and include proper citations to the sources, thus enjoying an enhanced credibility. Through a range of finance-related questions, we have demonstrated the superior performance of our system compared to other models. To experience our system firsthand, users can interact with our live demo at https://weaverbird.ttic.edu, as well as watch our 2-min video illustration at https://www.youtube.com/watch?v=yofgeqnlrMc.

研究动机与目标

• 解决金融决策中缺乏可靠、领域特定的大语言模型的问题，以提供准确且可追溯的回答。
• 克服通用大语言模型在处理复杂金融问题时出现幻觉和事实性错误的问题。
• 通过整合本地知识库和搜索引擎，增强金融回答的事实依据和来源可信度。
• 开发一种支持复杂金融推理的系统，例如在通货膨胀或市场波动期间的投资策略。
• 为金融用户提供端到端、交互式的对话体验，输出透明且具备引用意识。

提出的方法

• 在大规模金融领域语料上微调基于 GPT 架构的大语言模型，以提升领域理解能力。
• 构建一个本地化、经筛选的金融知识库，包含结构化的金融数据、法规和投资原则。
• 集成搜索引擎，根据用户查询从知识库中检索最新且相关的文档。
• 通过结合检索到的搜索结果和知识库条目来约束大语言模型的生成过程，确保事实依据。
• 实现引用机制，将每个主张与其来源关联，以增强透明度和可信度。
• 采用检索增强生成（RAG）流水线，动态结合检索到的证据与大语言模型的推理过程，以提升回答准确性。

实验结果

研究问题

• RQ1 与标准大语言模型相比，检索增强的大语言模型架构是否能显著提升金融问答任务中的事实一致性和准确性？
• RQ2 集成领域特定知识库和搜索引擎在多大程度上减少了金融大语言模型回答中的幻觉现象？
• RQ3 WeaverBird 在处理如经济不确定性期间的投资策略等复杂现实金融问题时表现如何？
• RQ4 具备引用意识的生成是否能增强金融人工智能系统中用户的信任感和透明度？
• RQ5 在用户评估和基准测试中，WeaverBird 与基线大语言模型及现有金融人工智能工具相比表现如何？

主要发现

• WeaverBird 在回答复杂金融问题方面显著优于基线大语言模型，事实准确性更高，且幻觉现象更少。
• 知识库与搜索引擎的整合使回答始终有可验证的来源支持，显著提升了可信度。
• 用户研究表明，WeaverBird 的回答在可信度和可操作性方面均优于标准大语言模型。
• 检索到的文档具有高相关性和精确度，搜索结果直接影响了回答质量。
• 具备引用意识的生成提升了透明度，用户报告对系统建议的信心显著增强。
• 实时演示和视频展示证实了系统在实际金融场景中的可用性与实时响应能力。