[论文解读] Zero-Knowledge Proof-based Verifiable Decentralized Machine Learning in Communication Network: A Comprehensive Survey

Zhibo Xing, Zijian Zhang+9 more|arXiv (Cornell University)|Oct 23, 2023

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本论文提供了关于基于零知识证明的可验证机器学习（ZKP-VML）的全面综述，定义该概念，调研现有方案，并勾画挑战与未来方向.

ABSTRACT

Over recent decades, machine learning has significantly advanced network communication, enabling improved decision-making, user behavior analysis, and fault detection. Decentralized approaches, where participants exchange computation results instead of raw private data, mitigate these risks but introduce challenges related to trust and verifiability. A critical issue arises: How can one ensure the integrity and validity of computation results shared by other participants? Existing survey articles predominantly address security and privacy concerns in decentralized machine learning, whereas this survey uniquely highlights the emerging issue of verifiability. Recognizing the critical role of zero-knowledge proofs in ensuring verifiability, we present a comprehensive review of Zero-Knowledge Proof-based Verifiable Machine Learning (ZKP-VML). To clarify the research problem, we present a definition of ZKP-VML consisting of four algorithms, along with several corresponding key security properties. Besides, we provide an overview of the current research landscape by systematically organizing the research timeline and categorizing existing schemes based on their security properties. Furthermore, through an in-depth analysis of each existing scheme, we summarize their technical contributions and optimization strategies, aiming to uncover common design principles underlying ZKP-VML schemes. Building on the reviews and analysis presented, we identify current research challenges and suggest future research directions. To the best of our knowledge, this is the most comprehensive survey to date on verifiable decentralized machine learning and ZKP-VML.

研究动机与目标

• 引入基于零知识证明的可验证机器学习（ZKP-VML）及其在可验证外包学习和联邦学习中的重要性。
• 正式定义 ZKP-VML、其属性，以及 ML 场景下的可验证性要求。
• 按应用场景及技术特征对现有 ZKP-VML 方案进行分类和分析。
• 讨论关键挑战、局限性与未来方向，为基于 ZKP 的可验证 ML 的进一步研究指引。

提出的方法

• 提供与 ML 中可验证性相关的 ML 背景和零知识证明背景。
• 以定义和性质（完备性、健全性、零知识）形式化 ZKP-VML。
• 将现有方案分类为应用类别并分析其技术方法。
• 讨论体系结构工作流（外包 ML、流水线、以及联邦学习）以及 ZKP 如何对计算进行验证。
• 比较相关综述，并将本文定位为截至 2023 年 6 月的首个全面的 ZKP-VML 研究。

(a) Federal training of anti-money laundering models based on private transaction behavior

实验结果

研究问题

• RQ1 在不同的 ML 场景（外包训练、推理和流水线）中会出现哪些可验证性问题？
• RQ2 如何在不暴露私有数据的前提下定义并应用零知识证明来验证 ML 计算？
• RQ3 现有的 ZKP-VML 方案有哪些，它们在体系结构、密钥学原语和效率方面有何不同？
• RQ4 基于 ZKP 的可验证 ML 面临的主要挑战和尚未解决的研究方向有哪些？
• RQ5 在对可验证性与 ZKP 技术覆盖方面，ZKP-VML 与相关的安全 ML 调查相比如何？

主要发现

• ZKP-VML 已成为用于在不披露私有数据的情况下验证 ML 计算的正式框架。
• 该综述提供了 ZKP-VML 的正式定义及其核心属性（完备性、健全性、零知识）。
• 现有方案按应用类别和技术特征进行分类，并分析其在外包 ML、ML 流水线和联邦学习中的工作流程。
• 研究指出实际挑战，如效率、通信开销，以及与多样化 ML 模型和数据隐私体系的集成。
• 这被定位为截至 2023 年 6 月对 ZKP-VML 的第一份系统性研究，强调差距与未来研究方向。

(b) Artificial intelligence diagnosis based on case privacy data