[论文解读] Non-Transferable Learning: A New Approach for Model Ownership Verification and Applicability Authorization

Lixu Wang, Shichao Xu+3 more|arXiv (Cornell University)|Jun 13, 2021

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出非可转移学习（NTL），一种新颖方法，通过学习特定领域的特征，限制深度学习模型仅在特定数据领域表现良好，从而实现稳健的模型所有权验证和以数据为中心的适用性授权。NTL 抵御最先进的水印移除攻击，并在未经授权的数据上降低模型性能，该结论在 MNIST、CIFAR10、STL10 和 VisDA 数据集上均得到验证，且在不同超参数下结果一致。

ABSTRACT

As Artificial Intelligence as a Service gains popularity, protecting well-trained models as intellectual property is becoming increasingly important. There are two common types of protection methods: ownership verification and usage authorization. In this paper, we propose Non-Transferable Learning (NTL), a novel approach that captures the exclusive data representation in the learned model and restricts the model generalization ability to certain domains. This approach provides effective solutions to both model verification and authorization. Specifically: 1) For ownership verification, watermarking techniques are commonly used but are often vulnerable to sophisticated watermark removal methods. By comparison, our NTL-based ownership verification provides robust resistance to state-of-the-art watermark removal methods, as shown in extensive experiments with 6 removal approaches over the digits, CIFAR10 & STL10, and VisDA datasets. 2) For usage authorization, prior solutions focus on authorizing specific users to access the model, but authorized users can still apply the model to any data without restriction. Our NTL-based authorization approach instead provides data-centric protection, which we call applicability authorization, by significantly degrading the performance of the model on unauthorized data. Its effectiveness is also shown through experiments on the aforementioned datasets.

研究动机与目标

• 为应对人工智能即服务（AIaaS）中对已训练深度学习模型作为知识产权保护的日益增长需求。
• 克服现有所有权验证方法的局限性，这些方法易受通过微调或重训练实现的复杂水印移除攻击。
• 引入一种新型使用授权形式——适用性授权，将模型使用限制在特定数据领域，而不仅限于授权用户。
• 开发一种方法，通过学习领域特定特征来缩小模型的泛化边界，从而实现模型在不同领域间的不可转移性。
• 证明 NTL 对水印移除和领域自适应攻击均具备鲁棒性，确保长期模型保护。

提出的方法

• NTL 提出两种变体：目标指定 NTL，其中目标领域已知，并用作辅助领域以增加与源领域的表征距离。
• 仅源 NTL，当目标领域未知时，利用生成对抗增强框架生成辅助领域，并增加源领域与辅助领域之间的领域差异。
• 该方法使用带有多个高斯核的中心极限差异（MMD）来度量并最小化领域偏移，带宽由参数 mul 和 num 控制。
• NTL 优化模型以学习源领域私有特征，同时抑制向辅助领域的可转移性，从而限制泛化能力。
• 在所有权验证中，NTL 将模型在辅助领域上的误分类行为作为水印嵌入，该水印在模型操作过程中对灾难性遗忘具有抗性。
• 在适用性授权中，模型被训练为在除源领域外的任何领域上性能显著下降，从而有效限制仅在授权数据上使用。

实验结果

研究问题

• RQ1 能否使深度学习模型对特定领域不可转移，同时在源领域保持高性能？
• RQ2 NTL 在抵抗利用模型微调或重训练的最先进的水印移除技术方面效果如何？
• RQ3 NTL 能否通过在未经授权的数据领域上降低模型性能，实现以数据为中心的授权，而无需依赖用户特定密钥？
• RQ4 在 MMD 基于的领域偏移度量中，NTL 的性能是否在不同核带宽下保持稳健？
• RQ5 NTL 是否可用于发起或防御模型部署中的后门攻击或通用中毒攻击？

主要发现

• 基于 NTL 的所有权验证在 MNIST、CIFAR10、STL10 和 VisDA 上成功抵抗六种最先进的水印移除方法，保持高验证准确率。
• 在所有评估数据集中，基于 NTL 的适用性授权在未经授权数据上的模型性能下降超过 80%，同时在授权源数据上的准确率仍保持在 90% 以上。
• NTL 的性能在不同核带宽设置下保持稳定，这通过 MMD 计算中 mul 和 num 参数变化时的一致结果得到验证。
• VGG-19 上的实验表明，NTL 在不同网络架构下仍保持强有效性，证实其广泛适用性。
• NTL 可通过嵌入目标特定的误分类行为用于发起后门攻击，同时也能通过限制模型泛化能力来阻止无源领域自适应方法。