[论文解读] Proof-of-Learning is Currently More Broken Than You Think

Congyu Fang, Hengrui Jia+6 more|arXiv (Cornell University)|Aug 6, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文表明，由于其验证机制存在系统性漏洞，Proof-of-Learning（PoL）在根本上是不安全的，证明攻击者可以以远低于诚实训练成本的代价生成有效证明。作者识别出PoL在梯度更新唯一性和噪声容忍度假设方面的核心缺陷，并证明现有欺骗攻击不仅可行，而且在各种配置下均可系统性地被利用。

ABSTRACT

Proof-of-Learning (PoL) proposes that a model owner logs training checkpoints to establish a proof of having expended the computation necessary for training. The authors of PoL forego cryptographic approaches and trade rigorous security guarantees for scalability to deep learning. They empirically argued the benefit of this approach by showing how spoofing--computing a proof for a stolen model--is as expensive as obtaining the proof honestly by training the model. However, recent work has provided a counter-example and thus has invalidated this observation. In this work we demonstrate, first, that while it is true that current PoL verification is not robust to adversaries, recent work has largely underestimated this lack of robustness. This is because existing spoofing strategies are either unreproducible or target weakened instantiations of PoL--meaning they are easily thwarted by changing hyperparameters of the verification. Instead, we introduce the first spoofing strategies that can be reproduced across different configurations of the PoL verification and can be done for a fraction of the cost of previous spoofing strategies. This is possible because we identify key vulnerabilities of PoL and systematically analyze the underlying assumptions needed for robust verification of a proof. On the theoretical side, we show how realizing these assumptions reduces to open problems in learning theory.We conclude that one cannot develop a provably robust PoL verification mechanism without further understanding of optimization in deep learning.

研究动机与目标

• 调查Proof-of-Learning（PoL）作为非密码学方法在验证深度学习训练完整性方面的鲁棒性。
• 识别并利用PoL验证机制中的系统性弱点，这些弱点使得低成本欺骗攻击成为可能。
• 证明先前的欺骗策略要么不可复现，要么可通过超参数调优轻易被阻止，揭示了先前评估中的缺陷。
• 形式化PoL验证所依赖的假设，并表明其满足条件等价于深度学习优化理论中的开放问题。
• 提出一种结合密码学承诺和时间戳的混合方法，以增强PoL的优先权保证。

提出的方法

• 系统分析PoL的双重角色：(1) 高效验证有效训练轨迹，(2) 建立计算优先权以防止欺骗。
• 指出由于缺乏对深度学习中梯度噪声的精确建模，验证中的噪声容忍度导致敏感性与特异性之间的权衡。
• 证明仅验证部分更新（由Jia等人提出）会引入攻击面，使攻击者能够控制哪些更新被验证。
• 提出可在多种PoL配置下可靠复现的欺骗策略，其成本远低于先前方法。
• 建议集成对训练数据的密码学承诺和时间戳机制，以防止重放攻击和数据重用攻击。
• 形式化PoL安全假设与当前对深度神经网络优化理解之间的理论鸿沟。

实验结果

研究问题

• RQ1 Proof-of-Learning的欺骗攻击是否可在不同PoL配置下可靠复现，还是对超参数变化极为敏感？
• RQ2 现有PoL验证机制在多大程度上因噪声容忍度差和验证不完整而无法防止恶意欺骗？
• RQ3 PoL安全性的理论假设是什么？它们如何转化为深度学习优化中的开放问题？
• RQ4 能否有效集成密码学原原子（如数据承诺和时间戳）到PoL中，以增强优先权保证？
• RQ5 在不解决学习理论中的根本性开放问题的前提下，是否可能构建一个可证明鲁棒的PoL验证机制？

主要发现

• 作者首次展示了可在多种PoL配置下复现的欺骗策略，且成本仅为诚实训练的极小部分。
• 先前的欺骗攻击（包括Zhang等人提出的攻击）被证明脆弱，仅通过微调超参数即可轻易阻止，表明其未暴露系统性缺陷。
• 由于缺乏对深度学习训练轨迹中噪声的精确建模，PoL验证中的敏感性-特异性权衡无法被最优解决。
• 仅验证证明中部分更新会创建可被利用的攻击面，使攻击者能够操控哪些步骤被验证。
• 形式化PoL验证的安全性等价于优化与泛化理论中的开放问题，因此目前尚无法实现可证明的鲁棒性。
• 集成对训练数据的密码学承诺和时间戳可显著缩小攻击面，并防止重放攻击与数据重用攻击。