[论文解读] You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership

Xuxi Chen, Tianlong Chen+2 more|arXiv (Cornell University)|Oct 29, 2021

Adversarial Robustness in Machine Learning被引用 10

一句话总结

本文提出了一种新颖的方法，通过在通过迭代剪枝发现的稀疏高绩效子网络（即‘赢者彩票票券’）的稀疏结构连接中嵌入用户特定的签名，来保护这些彩票票券。利用基于图的签名和在剪枝掩码中编码的二维码，该方法在白盒和黑盒环境下均能实现鲁棒的所有权验证，同时对剪枝、微调和模糊攻击保持鲁棒性，并且不损害模型准确率。

ABSTRACT

Despite tremendous success in many application scenarios, the training and inference costs of using deep learning are also rapidly increasing over time. The lottery ticket hypothesis (LTH) emerges as a promising framework to leverage a special sparse subnetwork (i.e., winning ticket) instead of a full model for both training and inference, that can lower both costs without sacrificing the performance. The main resource bottleneck of LTH is however the extraordinary cost to find the sparse mask of the winning ticket. That makes the found winning ticket become a valuable asset to the owners, highlighting the necessity of protecting its copyright. Our setting adds a new dimension to the recently soaring interest in protecting against the intellectual property (IP) infringement of deep models and verifying their ownerships, since they take owners' massive/unique resources to develop or train. While existing methods explored encrypted weights or predictions, we investigate a unique way to leverage sparse topological information to perform lottery verification, by developing several graph-based signatures that can be embedded as credentials. By further combining trigger set-based methods, our proposal can work in both white-box and black-box verification scenarios. Through extensive experiments, we demonstrate the effectiveness of lottery verification in diverse models (ResNet-20, ResNet-18, ResNet-50) on CIFAR-10 and CIFAR-100. Specifically, our verification is shown to be robust to removal attacks such as model fine-tuning and pruning, as well as several ambiguity attacks. Our codes are available at https://github.com/VITA-Group/NO-stealing-LTH.

研究动机与目标

• 为应对日益增长的对赢者彩票票券知识产权保护的需求，这些票券因其高性能和低计算成本而具有高价值。
• 开发一种方法，实现在不损害其性能或结构完整性的前提下，对彩票票券的所有权进行可验证的确认。
• 探索利用稀疏拓扑结构作为鲁棒凭证用于所有权验证，利用其对剪枝和微调的固有抗性。
• 设计一种对常见攻击（如模型剪枝、微调和噪声注入）具有鲁棒性的签名嵌入机制。
• 通过与基于触发集的方法集成，实现在白盒和黑盒场景下的验证。

提出的方法

• 使用基于图的签名生成技术，将用户特定的签名嵌入赢者彩票票券掩码的稀疏连接模式中。
• 将签名编码为剪枝权重矩阵中的二维码，同时保持原始稀疏性和模型性能。
• 使用评分函数（例如 OMP）在验证过程中识别并验证正确的掩码结构，即使在遭受攻击后也能保持有效。
• 将结构签名与基于触发集的方法结合，以支持白盒和黑盒验证框架。
• 在二维码设计中采用对齐和版本模式，以防止伪造，即使在内部人员攻击下也能抵御。
• 在评估过程中应用噪声注入和剪枝攻击，以测试嵌入签名的鲁棒性。

实验结果

研究问题

• RQ1 赢者彩票票券的稀疏结构模式能否作为所有权验证的可靠且鲁棒的凭证？
• RQ2 如何在不降低模型性能或改变稀疏度的前提下，将用户特定的签名嵌入稀疏掩码中？
• RQ3 嵌入的签名是否对常见攻击（如微调、剪枝和噪声注入）具有鲁棒性？
• RQ4 该验证机制是否能在白盒和黑盒设置下均有效运行？
• RQ5 结构稀疏性对伪造或移除嵌入签名的可行性有何影响？

主要发现

• 所提出的方法在 CIFAR-10 和 CIFAR-100 上的 ResNet-20、ResNet-18 和 ResNet-50 模型的稀疏掩码中成功嵌入并提取了二维码签名，性能下降极小。
• 即使在 10% 的剪枝后，掩码中嵌入的二维码仍能解码为有意义的字符串（如 "signature" 或 "simçi@5re"），证明其对结构修改具有鲁棒性。
• 在 20% 的剪枝下，二维码仍能部分解码为 "sigiature"，证实其对中等程度稀疏度变化的鲁棒性。
• 该方法能有效抵抗随机密钥掩码攻击：使用随机生成的掩码时性能显著下降（例如 >1% 的差距），表明对蛮力伪造具有强安全性。
• 噪声注入攻击中，当噪声率低于 1% 时，不会干扰签名解码；但当噪声率超过 1% 时，性能下降超过 1% 的阈值，证明其对污染攻击具有鲁棒性。
• 在内部人员攻击中，若用伪造签名替换嵌入签名，测试准确率将下降 50%（在 ResNet-20 上从 91.37% 降至 57.00%），表明此类攻击在实际中不可行。