[论文解读] opML: Optimistic Machine Learning on Blockchain

K Conway, Tsz Yan So+2 more|arXiv (Cornell University)|Jan 31, 2024

Machine Learning and Data Classification被引用 4

一句话总结

opML 引入了一种乐观机器学习框架，通过使用欺诈证明而非零知识证明，实现了大规模人工智能模型在链上的成本效益高且可验证的推理。通过利用图灵完备的欺诈证明虚拟机，opML 允许标准个人电脑在无 GPU 的情况下运行如 7B-LLaMA 这类 70 亿参数的模型，实现了高可访问性和可扩展性，同时保持了区块链级别的信任与透明度。

ABSTRACT

The integration of machine learning with blockchain technology has witnessed increasing interest, driven by the vision of decentralized, secure, and transparent AI services. In this context, we introduce opML (Optimistic Machine Learning on chain), an innovative approach that empowers blockchain systems to conduct AI model inference. opML lies a interactive fraud proof protocol, reminiscent of the optimistic rollup systems. This mechanism ensures decentralized and verifiable consensus for ML services, enhancing trust and transparency. Unlike zkML (Zero-Knowledge Machine Learning), opML offers cost-efficient and highly efficient ML services, with minimal participation requirements. Remarkably, opML enables the execution of extensive language models, such as 7B-LLaMA, on standard PCs without GPUs, significantly expanding accessibility. By combining the capabilities of blockchain and AI through opML, we embark on a transformative journey toward accessible, secure, and efficient on-chain machine learning.

研究动机与目标

• 解决 zkML 在大规模链上机器学习中计算成本高且可扩展性有限的问题。
• 实现在区块链上直接进行去中心化、可验证且成本低廉的大规模人工智能模型推理。
• 克服现有链上人工智能系统依赖集中式链下计算或仅限于小型模型的局限性。
• 在区块链上支持图灵完备的机器学习工作负载，包括模型训练、微调和复杂数据处理。
• 为 zkML 和非图灵完备系统（如 Agatha）提供可扩展的开源替代方案，实现在链上支持更广泛的机器学习工作负载。

提出的方法

• opML 采用类似乐观汇总的架构，默认假设所有机器学习推理结果均为有效。
• 它使用欺诈证明虚拟机（VM）在链下执行机器学习计算，并将结果提交至链上。
• 设置一个挑战期，允许验证者质疑错误结果，触发交互式二分查找协议以精确定位首个错误步骤。
• 争议通过在链上对单个计算步骤进行最小化验证来解决，从而确保链上成本极低。
• 由于其图灵完备的虚拟机，该系统支持广泛的机器学习模型，包括深度神经网络、决策树、KNN 和变换器。
• 该框架作为开源软件实现，可在无 GPU 的标准个人电脑上部署。

Figure 1 . OPML Overview

实验结果

研究问题

• RQ1 是否可以在不依赖零知识证明的情况下，高效且低成本地在链上执行大规模机器学习模型？
• RQ2 如何利用欺诈证明实现复杂人工智能工作负载在链上的可验证且去中心化的推理？
• RQ3 图灵完备的虚拟机在多大程度上能够支持多样化的机器学习任务，包括模型训练和数据预处理？
• RQ4 标准硬件（例如仅含 CPU 的个人电脑）是否能够使用乐观验证模型在链上运行如 7B-LLaMA 这类大型语言模型？
• RQ5 在真实的人工智能工作负载中，opML 的性能和资源效率与 zkML 及非图灵完备系统（如 Agatha）相比如何？

主要发现

• opML 允许在无 GPU 的标准个人电脑上运行 70 亿参数的 LLaMA 模型，显著提升了可访问性。
• 该系统通过避免 zkML 所需的高内存和计算开销，实现了成本效率。
• opML 支持图灵完备计算，能够处理复杂的机器学习流水线，而不仅限于简单的 DNN 推理，例如数据预处理和模型微调。
• 欺诈证明机制确保了极低的链上验证成本，因为争议解决时仅需执行单步计算。
• 与 Agatha 相比，opML 在灵活性和适用范围上表现更优，因为 Agatha 仅限于 DNN 且不支持通用计算和模型训练。
• 该框架表明，乐观验证是 zkML 在大规模链上人工智能领域中可行且可扩展的替代方案，尤其适用于无法生成 zk 证明的大规模模型。

Figure 2 . Fraud Proof VM Memory Layout