[论文解读] Stateful Detection of Model Extraction Attacks

Soham Pal, Yash Gupta+2 more|arXiv (Cornell University)|Jul 12, 2021

Adversarial Robustness in Machine Learning参考文献 31被引用 10

一句话总结

该论文提出VarDetect，一种有状态的异常检测系统，通过监控机器学习即服务（MLaaS）平台用户查询分布，检测模型提取攻击。通过使用改进的变分自编码器（VAE）建模正常查询分布，VarDetect能够识别三类攻击者（合成型、对抗性扰动型、非问题领域型）的恶意查询模式，即使面对具备白盒知识的自适应攻击者也保持有效，显著降低提取模型的性能与可迁移性。

ABSTRACT

Machine-Learning-as-a-Service providers expose machine learning (ML) models through application programming interfaces (APIs) to developers. Recent work has shown that attackers can exploit these APIs to extract good approximations of such ML models, by querying them with samples of their choosing. We propose VarDetect, a stateful monitor that tracks the distribution of queries made by users of such a service, to detect model extraction attacks. Harnessing the latent distributions learned by a modified variational autoencoder, VarDetect robustly separates three types of attacker samples from benign samples, and successfully raises an alarm for each. Further, with VarDetect deployed as an automated defense mechanism, the extracted substitute models are found to exhibit poor performance and transferability, as intended. Finally, we demonstrate that even adaptive attackers with prior knowledge of the deployment of VarDetect, are detected by it.

研究动机与目标

• 为应对机器学习即服务（MLaaS）平台中日益增长的模型提取攻击威胁，攻击者通过黑盒API查询提取专有模型。
• 设计一种无需访问攻击者数据或模型权重的检测机制，支持在生产环境中实际部署。
• 确保对包括使用合成输入、对抗性扰动输入或域外输入在内的多样化攻击策略具备鲁棒检测能力。
• 评估系统对自适应攻击者的抗性，这些攻击者会修改查询以规避检测，特别是那些具备白盒访问检测系统的攻击者。
• 证明部署VarDetect作为防御机制可降低提取替代模型的准确率与可迁移性，从而保护模型机密性和商业模式。

提出的方法

• VarDetect采用改进的变分自编码器（VAE）学习合法用户查询的潜在分布，为每个用户建模正常行为。
• 通过有状态机制持续监控传入查询的分布，跟踪查询序列并计算观测到的与预期查询分布之间的最大均值差异（MMD）。
• 系统使用MMD作为统计差异度量，检测与正常查询模式的偏离，当差异超过可配置阈值时触发警报。
• VAE在良性查询的代表性样本上进行微调，以学习底层数据流形，从而能够区分正常与恶意查询分布。
• 检测阈值可调，允许安全团队在灵敏度与误报率之间权衡，较高阈值仅能检测稀释度高或影响大的攻击。
• 对于自适应攻击者，VarDetect依然有效，即使攻击者使用迭代FGSM扰动使恶意查询更像良性查询。

实验结果

研究问题

• RQ1 有状态的、基于查询分布的监控系统是否能在不访问攻击者数据的前提下，检测到所有三类主要模型提取攻击者——合成型、对抗性扰动型和非问题领域型？
• RQ2 当作为防御机制部署时，VarDetect在降低提取替代模型的性能与可迁移性方面效果如何？
• RQ3 VarDetect能否检测到利用白盒知识构造查询以模仿正常行为从而规避检测的自适应攻击者？
• RQ4 查询稀释（即在恶意查询之间插入良性查询）对检测有效性有何影响？VarDetect如何应对此类规避策略？
• RQ5 当攻击者使用基于梯度的方法迭代扰动查询以降低MMD得分时，系统如何保持检测鲁棒性？

主要发现

• VarDetect在三个图像分类基准（F-MNIST、GTSR、SVHN）上成功检测到所有三类攻击者——合成型、对抗性扰动型和非问题领域型。
• 当VarDetect作为防御机制部署时，提取替代模型的准确率显著下降：在F-MNIST上，从无防护时的78.74%降至防护后的55.79%（非问题领域型攻击者）。
• 在GTSR数据集上，提取模型的准确率从无防护时的94.56%降至防护后的37.94%（非问题领域型攻击者），表明性能出现强烈下降。
• 即使稀释因子达15%，VarDetect在δ = 0.25的阈值下仍能检测到攻击者；而5%稀释仅在较低阈值下可检测，表明具备可调灵敏度。
• 使用迭代FGSM扰动查询的自适应攻击者无法规避检测；其扰动样本在δ = 0.25下仍可被检测，3D PCA投影的潜在向量结果证实了这一点。
• 系统对具备完整VAE编码器及统计参数（µC, σC）知识的白盒攻击者依然有效，经多次FGSM迭代与不同步长测试，未观察到成功规避。