[论文解读] Proof-of-Learning: Definitions and Practice

Hengrui Jia, Mohammad Yaghini+5 more|arXiv (Cornell University)|Mar 9, 2021

Adversarial Robustness in Machine Learning参考文献 79被引用 5

一句话总结

本文提出了一种名为学习证明（Proof-of-Learning, PoL）的机制，使模型训练者能够通过随机梯度下降（SGD）的内在随机性，密码学地证明其已完整执行了训练过程。PoL 利用 SGD 中固有的随机性，生成与训练路径紧密绑定的密钥信息，从而生成可验证的证明，确保模型权重是通过计算密集型训练正确推导而来，且无需修改现有训练流水线，保障了模型完整性与所有权。

ABSTRACT

Training machine learning (ML) models typically involves expensive iterative optimization. Once the model's final parameters are released, there is currently no mechanism for the entity which trained the model to prove that these parameters were indeed the result of this optimization procedure. Such a mechanism would support security of ML applications in several ways. For instance, it would simplify ownership resolution when multiple parties contest ownership of a specific model. It would also facilitate the distributed training across untrusted workers where Byzantine workers might otherwise mount a denial-of-service by returning incorrect model updates. In this paper, we remediate this problem by introducing the concept of proof-of-learning in ML. Inspired by research on both proof-of-work and verified computations, we observe how a seminal training algorithm, stochastic gradient descent, accumulates secret information due to its stochasticity. This produces a natural construction for a proof-of-learning which demonstrates that a party has expended the compute require to obtain a set of model parameters correctly. In particular, our analyses and experiments show that an adversary seeking to illegitimately manufacture a proof-of-learning needs to perform *at least* as much work than is needed for gradient descent itself. We also instantiate a concrete proof-of-learning mechanism in both of the scenarios described above. In model ownership resolution, it protects the intellectual property of models released publicly. In distributed training, it preserves availability of the training procedure. Our empirical evaluation validates that our proof-of-learning mechanism is robust to variance induced by the hardware (ML accelerators) and software stacks.

研究动机与目标

• 为解决缺乏机制证明机器学习模型是通过昂贵优化过程真实训练而非复制或伪造的问题。
• 在模型盗取或未经授权发布的情况下，支持安全的模型所有权争议解决。
• 通过检测或防止来自不可信工作者的拜占庭更新，确保分布式训练中的完整性。
• 设计一种计算开销极低、可自然集成到现有深度学习工作流中的证明系统。

提出的方法

• 利用随机梯度下降（SGD）的随机性，生成与训练路径紧密绑定的密钥信息。
• 构建由一批索引和中间模型权重组成的证明，使验证者能够重新执行训练过程中的选定步骤。
• 以重新执行作为验证原原子：验证者使用提供的证明，从初始化到最终权重重新计算梯度更新。
• 依赖诚实训练与恶意伪造之间的计算不对称性——攻击者必须执行至少与原始训练相当的工作量，才能伪造有效证明。
• 采用 float16 精度存储模型权重，以减少存储开销，同时保持验证精度。
• 承认在数据机密性方面的局限性，并提出使用私有推理协议（如多方计算）作为缓解措施。

实验结果

研究问题

• RQ1 模型训练者能否在不修改训练流程的前提下，生成一个密码学可验证的证明，以证明其使用 SGD 完整执行了训练过程？
• RQ2 SGD 中固有的随机性是否能产生足够的计算不对称性，防止攻击者以少于实际训练的工作量伪造证明？
• RQ3 PoL 是否可用于解决公开发布模型的归属权争议，特别是在模型盗取攻击的背景下？
• RQ4 PoL 是否能通过检测或阻止提交错误模型更新的拜占庭工作者，确保分布式训练中的完整性？
• RQ5 在真实应用场景中部署 PoL 时，存储开销、验证成本与隐私之间的实际权衡是什么？

主要发现

• 由于难以逆向求解随机梯度下降路径，攻击者若想伪造证明，必须投入至少与原始训练相当的计算工作量，PoL 机制确保了这一点。
• 实证评估表明，PoL 对硬件和软件栈差异具有鲁棒性，包括不同机器学习加速器和系统级噪声。
• 将模型权重以 float16 格式存储，可将存储占用减少两倍，且对验证精度影响极小。
• 在长链式连续 PoL 证明中，成功验证的概率呈乘法级下降，限制了其在长周期迁移学习流水线中的应用。
• 可使用私有推理协议在验证过程中保护训练数据的机密性，尽管会引入额外计算开销。
• 基于计数器的伪随机数生成器可能降低训练中的随机性，从而削弱 PoL 的安全性，凸显了对可重现随机源的需求。