[论文解读] Who Leaked the Model? Tracking IP Infringers in Accountable Federated Learning

Shuyang Yu, Junyuan Hong+4 more|arXiv (Cornell University)|Dec 6, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种可解码的唯一水印技术（DUW），一种用于可问责联邦学习的方法，通过基于后门的注入方式将客户端独有的水印嵌入全局模型，从而实现对知识产权侵权者的精确追踪。在异构联邦学习设置下，DUW在CIFAR-10、CIFAR-100和Digits数据集上均实现了超过99%的水印成功率和100%的侵权者识别准确率，即使在常见的水印移除攻击后仍保持稳定性能。

ABSTRACT

Federated learning (FL) emerges as an effective collaborative learning framework to coordinate data and computation resources from massive and distributed clients in training. Such collaboration results in non-trivial intellectual property (IP) represented by the model parameters that should be protected and shared by the whole party rather than an individual user. Meanwhile, the distributed nature of FL endorses a malicious client the convenience to compromise IP through illegal model leakage to unauthorized third parties. To block such IP leakage, it is essential to make the IP identifiable in the shared model and locate the anonymous infringer who first leaks it. The collective challenges call for \emph{accountable federated learning}, which requires verifiable ownership of the model and is capable of revealing the infringer's identity upon leakage. In this paper, we propose Decodable Unique Watermarking (DUW) for complying with the requirements of accountable FL. Specifically, before a global model is sent to a client in an FL round, DUW encodes a client-unique key into the model by leveraging a backdoor-based watermark injection. To identify the infringer of a leaked model, DUW examines the model and checks if the triggers can be decoded as the corresponding keys. Extensive empirical results show that DUW is highly effective and robust, achieving over $99\%$ watermark success rate for Digits, CIFAR-10, and CIFAR-100 datasets under heterogeneous FL settings, and identifying the IP infringer with $100\%$ accuracy even after common watermark removal attempts.

研究动机与目标

• 解决在联邦学习（FL）系统中识别恶意客户端泄露高价值全局模型这一关键挑战。
• 通过确保模型知识产权的可验证所有权和可追溯性，实现可问责的联邦学习。
• 克服以往水印方法在缺乏客户端特定追踪能力或需要暴露参数方面的局限性。
• 在保持高模型效用的同时，确保对水印移除和对抗性攻击的鲁棒性。
• 提供一种轻量级、与模型无关的解决方案，对现有联邦学习流程的修改极少。

提出的方法

• 使用基于后门的技术将客户端独有的水印注入全局模型，其中每个客户端的唯一密钥通过来自分布外（OoD）数据的触发集编码。
• 利用预训练编码器，使用如USPS、GTSRB、随机噪声或拼图图像等OoD数据集生成客户端特定的触发集。
• 在模型训练过程中通过使用触发集和原始训练数据对全局模型进行微调来嵌入水印，采用保持标准准确率的目标函数。
• 在验证阶段部署解码器，通过在所有触发集上测试可疑模型并识别水印成功率（WSR）最高的客户端来解码水印。
• 通过使用解码器防止因水印冲突导致的误报，从而提高可追溯性的置信度。
• 支持混合部署，将DUW与现有黑盒统一水印结合，实现双重检测和客户端级别的追踪。

实验结果

研究问题

• RQ1 水印方案是否能够在分布式环境中唯一识别出泄露联邦学习全局模型的客户端？
• RQ2 所提出的方法在嵌入客户端特定水印的同时，维持模型效用的效率如何？
• RQ3 该水印对常见水印移除和模型微调攻击的鲁棒性如何？
• RQ4 OoD数据集的选择在模型准确率与水印检测性能之间产生的权衡关系如何？
• RQ5 该方法是否能扩展到大量客户端，而不会导致追踪准确率或水印检测可靠性下降？

主要发现

• 在异构联邦学习设置下，DUW在Digits、CIFAR-10和CIFAR-100数据集上均实现了超过99%的水印成功率（WSR）。
• 即使在常见的水印移除尝试和模型微调之后，该方法仍能以100%的准确率识别出知识产权侵权者。
• 使用随机噪声或拼图OoD数据集导致的准确率下降不足1%，同时保持了高WSR和快速的准确率恢复能力。
• 在600个客户端的情况下，DUW维持了73.37%的WSR和100%的可追溯性准确率（TAcc），表现出强大的可扩展性。
• 解码器通过减少误报显著提升了可追溯性，使TAcc达到100%，并最小化了冲突风险。
• 与统一黑盒水印结合的混合水印方案保持了DUW的有效性，WSR仅下降0.72%，统一水印的成功率达到98.82%。