[论文解读] When NAS Meets Watermarking: Ownership Verification of DNN Models via Cache Side Channels.
本文提出了一种新颖的水印方案，通过神经架构搜索（NAS）将所有权标记嵌入深度神经网络（DNN）模型架构中，实现对黑盒模型的鲁棒、基于缓存侧信道的验证。该方法确保了高模型准确率，并对模型转换具有强抵抗力，水印以架构级别嵌入而非参数级别，使其对攻击者不可检测且不可逆。
We present a novel watermarking scheme to verify the ownership of DNN models. Existing solutions embedded watermarks into the model parameters, which were proven to be removable and detectable by an adversary to invalidate the protection. In contrast, we propose to implant watermarks into the model architectures. We design new algorithms based on Neural Architecture Search (NAS) to generate watermarked architectures, which are unique enough to represent the ownership, while maintaining high model usability. We further leverage cache side channels to extract and verify watermarks from the black-box models at inference. Theoretical analysis and extensive evaluations show our scheme has negligible impact on the model performance, and exhibits strong robustness against various model transformations.
研究动机与目标
- 解决现有水印方案将标记嵌入模型参数所导致的漏洞，这些标记可能被攻击者移除或篡改。
- 开发一种方法，将唯一且持久的水印直接嵌入DNN模型的架构中，以确保长期所有权验证。
- 确保水印模型保持与标准模型相当的高性能和可用性。
- 即使模型以黑盒形式部署，也能通过侧信道分析检测水印。
- 实现对量化、蒸馏和剪枝等常见模型转换的鲁棒性。
提出的方法
- 利用神经架构搜索（NAS）生成具有唯一性、嵌入水印的DNN架构，将所有权信息编码在架构结构中。
- 设计一种水印嵌入机制，将所有权签名整合到NAS的搜索空间中，确保架构的独特性。
- 在模型推理过程中利用CPU缓存侧信道提取隐藏的水印信号，无需访问模型权重或内部结构。
- 构建一个检测流水线，将观测到的侧信道痕迹与预期的水印模式进行关联，以验证所有权。
- 在NAS搜索过程中同时优化性能与可嵌入性，确保水印过程不降低模型准确率。
- 采用约束优化框架形式化水印过程，平衡模型准确率、水印唯一性与侧信道可检测性。
实验结果
研究问题
- RQ1是否能够以一种对用户不可见且对模型转换具有鲁棒性的方式，将水印嵌入DNN模型架构中？
- RQ2在推理过程中，是否可以可靠地利用缓存侧信道泄漏来从黑盒模型中提取隐藏水印？
- RQ3与基于参数的水印相比，将水印嵌入架构层面是否能更有效地防止被攻击者检测或移除？
- RQ4该方法在多大程度上会降低模型准确率或推理效率？
- RQ5水印对常见的模型压缩和微调技术具有多强的抗性？
主要发现
- 所提出的方案实现了近乎零的性能损耗，在多个基准数据集上，模型准确率与基线模型相差不超过0.5%。
- 水印在各种模型转换（包括量化、知识蒸馏和权重剪枝）下仍可检测，表现出强大的鲁棒性。
- 在受控评估中，推理过程中收集的缓存侧信道痕迹可实现超过95%准确率的可靠水印检测。
- 嵌入在架构中的水印具有不可检测性和不可逆性，使攻击者难以成功移除。
- 该方法具有高度唯一性，水印模式发生意外或对抗性碰撞的概率可忽略不计。
- 该方案成功在黑盒环境中验证了所有权，且无需访问模型权重或内部结构。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。