[论文解读] Spinning Language Models: Risks of Propaganda-As-A-Service and Countermeasures

Eugene Bagdasaryan, Vitaly Shmatikov|arXiv (Cornell University)|Dec 9, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出模型旋转（model spinning），一种针对序列到序列语言模型的新型训练时后门攻击，通过注入‘元后门’机制，在特定触发词出现时，使模型输出偏向攻击者选定的情感或主张。该攻击利用对抗性任务堆叠与伪词技术，调整输出分布，从而在保持高主任务准确率（ROUGE/BLEU）的同时，实现可定制的宣传即服务（propaganda-as-a-service），且存在可检测的传播效应，可转移至下游模型。

ABSTRACT

We investigate a new threat to neural sequence-to-sequence (seq2seq) models: training-time attacks that cause models to "spin" their outputs so as to support an adversary-chosen sentiment or point of view -- but only when the input contains adversary-chosen trigger words. For example, a spinned summarization model outputs positive summaries of any text that mentions the name of some individual or organization. Model spinning introduces a "meta-backdoor" into a model. Whereas conventional backdoors cause models to produce incorrect outputs on inputs with the trigger, outputs of spinned models preserve context and maintain standard accuracy metrics, yet also satisfy a meta-task chosen by the adversary. Model spinning enables propaganda-as-a-service, where propaganda is defined as biased speech. An adversary can create customized language models that produce desired spins for chosen triggers, then deploy these models to generate disinformation (a platform attack), or else inject them into ML training pipelines (a supply-chain attack), transferring malicious functionality to downstream models trained by victims. To demonstrate the feasibility of model spinning, we develop a new backdooring technique. It stacks an adversarial meta-task onto a seq2seq model, backpropagates the desired meta-task output to points in the word-embedding space we call "pseudo-words," and uses pseudo-words to shift the entire output distribution of the seq2seq model. We evaluate this attack on language generation, summarization, and translation models with different triggers and meta-tasks such as sentiment, toxicity, and entailment. Spinned models largely maintain their accuracy metrics (ROUGE and BLEU) while shifting their outputs to satisfy the adversary's meta-task. We also show that, in the case of a supply-chain attack, the spin functionality transfers to downstream models.

研究动机与目标

• 探究通过新型后门攻击形式，对神经序列到序列模型实施对抗性操纵所带来的风险，以实现目标明确、上下文保持的偏倚。
• 展示攻击者如何训练模型，在输入中出现特定触发词（如人名）时，仅生成类似宣传的内容（如正面摘要或有毒输出）。
• 表明该攻击可通过平台或供应链的 compromise 实施，从而引发大规模虚假信息传播。
• 开发一种无需元任务依赖的黑盒防御机制，通过候选触发词分析检测具备旋转功能的模型。
• 强调 AI 生成偏倚内容的伦理风险，并倡导主动检测与缓解策略。

提出的方法

• 提出一种元后门攻击，要求模型在触发词存在时，同时满足主任务（如摘要生成）和攻击者选定的元任务（如正面情感）要求。
• 引入对抗性任务堆叠：在训练期间将元任务（如情感分类）应用于模型输出，以反向传播方式将期望的偏倚引导至输出分布。
• 使用伪词——词嵌入空间中学习得到的嵌入向量——将整个输出分布朝向目标元任务输出方向移动。
• 采用可微分损失函数，结合主任务损失（如摘要生成的 ROUGE）与元任务损失（如情感分类的交叉熵），实现端到端训练。
• 将该攻击应用于多种序列到序列模型，包括摘要生成、机器翻译与文本生成模型，并测试不同触发词与元任务（情感、毒性、蕴含关系）的组合。
• 开发一种基于中位数绝对偏差（MAD）的黑盒检测方法，用于识别导致输出分布显著偏移的候选触发词输入。

实验结果

研究问题

• RQ1 对抗性训练是否能在不降低主任务性能的前提下，向序列到序列模型中注入目标明确、上下文保持的偏倚？
• RQ2 模型旋转在多大程度上可用于生成虚假信息或通过后门传播污染机器学习供应链？
• RQ3 在微调或重训练过程中，旋转功能是否可转移至下游模型？
• RQ4 是否可能在不知晓元任务或触发词的情况下检测出具备旋转功能的模型？
• RQ5 所提出的检测方法在识别跨多种任务与触发词的隐藏元后门模型方面，效果如何？

主要发现

• 具备旋转功能的模型在含触发词与不含触发词的输入上，均保持较高的主任务性能（ROUGE 与 BLEU 分数），表明该攻击未降低标准准确率指标。
• 当输入中包含触发词时，模型输出情感成功被偏移到攻击者期望的标签（如正面情感），即使面对未见过的输入也有效。
• 在微调或重训练过程中，旋转功能可成功传播至下游模型，表明存在通过供应链攻击传播偏倚的风险。
• 所提出的基于中位数绝对偏差（MAD）的黑盒检测方法，通过分析候选触发词引发的输出分布偏移，成功识别出具备旋转功能的模型。
• 该攻击在多种任务中均有效，包括摘要生成、机器翻译与文本生成，且适用于多样化的触发词与元任务（如情感、毒性、蕴含关系）。
• 该方法无需访问模型权重或梯度，适用于现实世界中模型以黑盒形式部署的检测场景。