[论文解读] Planting Undetectable Backdoors in Machine Learning Models

Shafi Goldwasser, Michael P. Kim+2 more|arXiv (Cornell University)|Apr 14, 2022

Adversarial Robustness in Machine Learning被引用 13

一句话总结

本文展示了恶意机器学习服务提供商如何在训练好的模型中嵌入难以检测的后门，从而通过极小的输入扰动实现对预测结果的远程控制。利用数字签名或基于密码学假设的随机特征学习，后门在白盒分析下仍与干净模型在计算上不可区分，从而破坏了对外包模型训练的信任。

ABSTRACT

Given the computational cost and technical expertise required to train machine learning models, users may delegate the task of learning to a service provider. We show how a malicious learner can plant an undetectable backdoor into a classifier. On the surface, such a backdoored classifier behaves normally, but in reality, the learner maintains a mechanism for changing the classification of any input, with only a slight perturbation. Importantly, without the appropriate "backdoor key", the mechanism is hidden and cannot be detected by any computationally-bounded observer. We demonstrate two frameworks for planting undetectable backdoors, with incomparable guarantees. First, we show how to plant a backdoor in any model, using digital signature schemes. The construction guarantees that given black-box access to the original model and the backdoored version, it is computationally infeasible to find even a single input where they differ. This property implies that the backdoored model has generalization error comparable with the original model. Second, we demonstrate how to insert undetectable backdoors in models trained using the Random Fourier Features (RFF) learning paradigm or in Random ReLU networks. In this construction, undetectability holds against powerful white-box distinguishers: given a complete description of the network and the training data, no efficient distinguisher can guess whether the model is "clean" or contains a backdoor. Our construction of undetectable backdoors also sheds light on the related issue of robustness to adversarial examples. In particular, our construction can produce a classifier that is indistinguishable from an "adversarially robust" classifier, but where every input has an adversarial example! In summary, the existence of undetectable backdoors represent a significant theoretical roadblock to certifying adversarial robustness.

研究动机与目标

• 调查在外包模型训练中信任不可信机器学习服务提供商所带来的风险。
• 证明后门可被植入模型中，即使对强大的白盒攻击者也难以检测。
• 表明此类后门可经受住后处理操作，且外部观察者无法复制。
• 通过展示即使‘鲁棒’模型仍可能被植入无法检测的后门，挑战对抗鲁棒性的理论基础。

提出的方法

• 利用数字签名方案，作者构建的后门在查询访问下与原始模型在计算上不可区分，确保无法找到两者不同的输入。
• 该方法保证了不可复制性：即使拥有后门模型及其输出的完整访问权限，攻击者也无法生成新的后门输入。
• 对于随机傅里叶特征（RFF），后门通过篡改训练期间使用的随机种子实现，同时保持算法的正确性。
• RFF-based后门的安全性依赖于连续学习带错误（CLWE）问题的困难性。
• 类似构造也基于稀疏主成分分析（Sparse PCA）困难性，适用于随机ReLU网络。
• 该方法确保，即使完全掌握训练数据和模型架构，高效区分者也无法检测后门的存在。

实验结果

研究问题

• RQ1 恶意服务提供商能否在机器学习模型中嵌入后门，使其对任何计算能力受限的观察者均不可检测？
• RQ2 是否可能构建一种既不可检测又不可复制的后门，使得攻击者无法生成新的后门输入？
• RQ3 能否在基于随机傅里叶特征范式的模型中构建不可检测的后门，即使在白盒分析下也成立？
• RQ4 不可检测后门的存在是否破坏了机器学习模型对抗鲁棒性的理论保证？
• RQ5 能否利用CLWE或稀疏主成分分析困难性等密码学假设，正式证明此类后门的安全性？

主要发现

• 所提出的后门机制在计算上与原始模型不可区分：即使拥有完整查询访问权限，任何高效区分者也无法检测差异。
• 后门模型保持了与原始模型相当的一般化误差，确保在标准评估下仍显得可信。
• 该构造保证了不可复制性：即使完全访问模型及其行为，攻击者也无法生成新的后门输入。
• 对于基于RFF的模型，后门即使对拥有完整训练数据和模型架构知识的白盒区分者也难以检测。
• RFF-based后门的安全性在CLWE问题困难性的假设下得到证明。
• 本文表明，即使‘对抗鲁棒’模型仍可能以不可检测的方式被植入后门，暴露了认证鲁棒性中的根本性局限。