[论文解读] PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning

Hongbin Liu, Jinyuan Jia+1 more|arXiv (Cornell University)|May 13, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

PoisonedEncoder 是首个针对单模态对比学习的定向数据 poisoning 攻击，通过结合目标输入与目标类别中的参考图像来构造对抗性输入，从而污染无标签的预训练数据。该攻击在使下游分类器将攻击者选定的输入误分类为目标类别的同时，保持了编码器在干净输入上的性能。

ABSTRACT

Contrastive learning pre-trains an image encoder using a large amount of unlabeled data such that the image encoder can be used as a general-purpose feature extractor for various downstream tasks. In this work, we propose PoisonedEncoder, a data poisoning attack to contrastive learning. In particular, an attacker injects carefully crafted poisoning inputs into the unlabeled pre-training data, such that the downstream classifiers built based on the poisoned encoder for multiple target downstream tasks simultaneously classify attacker-chosen, arbitrary clean inputs as attacker-chosen, arbitrary classes. We formulate our data poisoning attack as a bilevel optimization problem, whose solution is the set of poisoning inputs; and we propose a contrastive-learning-tailored method to approximately solve it. Our evaluation on multiple datasets shows that PoisonedEncoder achieves high attack success rates while maintaining the testing accuracy of the downstream classifiers built upon the poisoned encoder for non-attacker-chosen inputs. We also evaluate five defenses against PoisonedEncoder, including one pre-processing, three in-processing, and one post-processing defenses. Our results show that these defenses can decrease the attack success rate of PoisonedEncoder, but they also sacrifice the utility of the encoder or require a large clean pre-training dataset.

研究动机与目标

• 通过操纵无标签的预训练数据，解决单模态对比学习在定向数据 poisoning 攻击下的脆弱性问题。
• 开发一种方法，使攻击者能够导致多个下游分类器将任意干净输入误分类为目标类别。
• 将攻击形式化为针对对比学习自监督目标的双层优化问题。
• 在下游训练数据为干净且无法被篡改的现实威胁模型下，评估 PoisonedEncoder 的有效性。
• 评估现有防御措施对这一新型攻击的鲁棒性，并识别其在性能或数据需求方面的局限性。

提出的方法

• 将数据 poisoning 攻击形式化为双层优化问题：外层问题定义了污染编码器的攻击目标，内层问题则建模了编码器在污染预训练数据上的训练过程。
• 提出一种面向对比学习的近似方法来求解双层优化问题，利用对比学习促使同一图像的不同裁剪视图生成相似特征这一特性。
• 通过水平或垂直拼接目标输入与目标类别中的参考图像来构建污染输入，使得随机裁剪可能获得目标输入和参考图像。
• 利用对比学习中的随机裁剪机制：若污染输入的两个裁剪视图分别对应目标输入和参考图像，则编码器会学习将它们嵌入为相似特征。
• 利用所得编码器训练下游分类器，由于污染诱导的特征相似性，分类器会将目标输入误分类为目标类别。
• 通过将携带触发器的辅助输入与参考图像拼接，生成可触发误分类的污染输入，将框架扩展至后门攻击。

实验结果

研究问题

• RQ1 攻击者是否能仅通过污染无标签的预训练数据，而无需修改下游训练数据，成功操纵多个下游分类器？
• RQ2 PoisonedEncoder 在保持预训练编码器在干净输入上性能的同时，是否能实现高攻击成功率？
• RQ3 现有防御措施（预处理、训练中处理、后处理）在面对 PoisonedEncoder 时表现如何？其在性能或数据需求方面存在何种权衡？
• RQ4 所提出的攻击是否可扩展至后门式污染，即携带触发器的输入被误分类为目标类别？
• RQ5 当前防御措施在不牺牲模型性能或不依赖大规模干净预训练数据集的前提下，其在提供鲁棒性方面的局限性是什么？

主要发现

• PoisonedEncoder 实现了高攻击成功率，在 STL10 数据集的后门扩展实验中，使 96.54% 的携带触发器的输入被误分类为目标类别。
• 该攻击在非目标输入上保持了较高的测试准确率，表明污染后的编码器仍能保持对良性输入的性能。
• 评估的五种防御措施（涵盖预处理到后处理）虽降低了攻击成功率，但均存在牺牲编码器性能或需要大规模干净预训练数据集的问题。
• 将集成学习（bagging）扩展至对比学习可提供认证鲁棒性，但会显著降低模型性能，表明鲁棒性与性能之间存在强烈权衡。
• 训练中防御措施如早停和禁用随机裁剪虽可降低攻击成功率，但也损害了编码器的泛化能力。
• 后处理防御措施如微调虽可降低攻击成功率，但需要访问干净的预训练数据集，而此类数据集在实际中可能难以获取。