[论文解读] zkFinGPT: Zero-Knowledge Proofs for Financial Generative Pre-trained Transformers
.zkFinGPT 使用零知识证明来验证 FinGPT 推理,同时保护模型权重和数据,但会带来相当的计算开销。
Financial Generative Pre-trained Transformers (FinGPT) with multimodal capabilities are now being increasingly adopted in various financial applications. However, due to the intellectual property of model weights and the copyright of training corpus and benchmarking questions, verifying the legitimacy of GPT's model weights and the credibility of model outputs is a pressing challenge. In this paper, we introduce a novel zkFinGPT scheme that applies zero-knowledge proofs (ZKPs) to high-value financial use cases, enabling verification while protecting data privacy. We describe how zkFinGPT will be applied to three financial use cases. Our experiments on two existing packages reveal that zkFinGPT introduces substantial computational overhead that hinders its real-world adoption. E.g., for LLama3-8B model, it generates a commitment file of $7.97$MB using $531$ seconds, and takes $620$ seconds to prove and $2.36$ seconds to verify.
研究动机与目标
- 在高风险金融和版权敏感环境中,推动对 FinGPT 输出进行可验证且隐私保护的验证。
- 演示三个对验证至关重要的金融用例(版权诉讼、受版权保护的考试结果和交易策略隐私)。
- 提出结合多线性扩展、Sumcheck 协议和 KZG 置换的 zkFinGPT 架构,以实现公开可验证性。
- 将承诺和证明工件上传到区块链以确保不可变性与防篡改性。
提出的方法
- 将 W 与 X 量化到有限场,并通过多线性扩展(MLE)将其转换为多项式形式。
- 应用 sumcheck 协议在不暴露 W 的情况下验证 Y = WX,使用三变量多项式 g(b1,b2,b3)。
- 利用 Schwartz–Zippel 引理界定错误验证的概率,并使用 Fiat–Shamir 使协议成为非交互式。
- 采用 KZG 多项式承诺方案对多项式进行承诺并在随机点处验证开值。
- 两模块 zkFinGPT 工作流:Monitor(Commit & Prove)与 Verify(KeyGen & Verify),并具区块链支撑的不可变性。
- 通过在 LLama 和 GPT2 模型上使用 zkLLM/ zkGPT 包进行实验测量开销,以评估 commitment、proof、prove、verify 的时长。
实验结果
研究问题
- RQ1零知识证明是否能够提供公开可验证且隐私保护的 FinGPT 推理验证,而不暴露模型权重或输入数据?
- RQ2在不同规模的代表性 FinGPT 模型上,zkFinGPT 引入的计算开销有多大?
- RQ3所提出的用例(版权诉讼、考试题目可信度、交易竞赛隐私)如何受益于 zkFinGPT 的可验证性?
- RQ4MLE、sumcheck 与 KZG 承诺的组合在真实世界的大型 FinGPT 模型场景中是否实用?
主要发现
- zkFinGPT 引入显著的计算开销,例如对 LLama3-8B:证明大小 7.97 MB,提交时间 531 s,证明时间 620 s,验证时间 2.36 s。
- 对 LLama3-70B,提交时间达到 5310 s,证明大小 25.35 MB,证明时间 1578 s,验证时间 4.66 s。
- 验证时间保持高效(低于 5 s),尽管证明时间较长,表明证明步骤存在瓶颈。
- 该方法展示了三个金融用例,在这些用例中对模型输出和数据隐私的可验证性具有价值。
更好的研究,从现在开始
从论文设计到论文写作,大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成,并经人工编辑审核。