[论文解读] Order-Disorder: Imitation Adversarial Attacks for Black-box Neural Ranking Models

Jiawei Liu, Yangyang Kang+6 more|arXiv (Cornell University)|Sep 14, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出一种针对神经文档排序模型的黑盒对抗攻击方法，采用两阶段策略：首先，通过在查询-文档三元组上进行成对学习，训练一个排序模仿模型以透明化目标模型；其次，利用新型基于梯度的成对锚点触发器（PAT）生成器，生成高度可迁移且隐蔽的对抗性触发器。该方法在极小且难以察觉的扰动下实现了99.2%的攻击成功率，暴露出黑盒排序系统中的关键安全漏洞。

ABSTRACT

Neural text ranking models have witnessed significant advancement and are increasingly being deployed in practice. Unfortunately, they also inherit adversarial vulnerabilities of general neural models, which have been detected but remain underexplored by prior studies. Moreover, the inherit adversarial vulnerabilities might be leveraged by blackhat SEO to defeat better-protected search engines. In this study, we propose an imitation adversarial attack on black-box neural passage ranking models. We first show that the target passage ranking model can be transparentized and imitated by enumerating critical queries/candidates and then train a ranking imitation model. Leveraging the ranking imitation model, we can elaborately manipulate the ranking results and transfer the manipulation attack to the target ranking model. For this purpose, we propose an innovative gradient-based attack method, empowered by the pairwise objective function, to generate adversarial triggers, which causes premeditated disorderliness with very few tokens. To equip the trigger camouflages, we add the next sentence prediction loss and the language model fluency constraint to the objective function. Experimental results on passage ranking demonstrate the effectiveness of the ranking imitation attack model and adversarial triggers against various SOTA neural ranking models. Furthermore, various mitigation analyses and human evaluation show the effectiveness of camouflages when facing potential mitigation approaches. To motivate other scholars to further investigate this novel and important problem, we make the experiment data and code publicly available.

研究动机与目标

• 探究黑盒神经文档排序模型在模型透明度有限条件下面临的对抗性攻击脆弱性。
• 开发一种无需白盒访问目标模型的可迁移对抗攻击方法。
• 生成既有效又难以察觉的对抗性触发器，通过引入流畅性与语义一致性约束。
• 评估该攻击在防御策略（如输入修剪或对抗训练）下的鲁棒性及人类感知下的表现。
• 公开发布代码与数据，以促进对神经排序系统防御机制的进一步研究。

提出的方法

• 利用从目标模型排名列表中提取的查询-正样本-负样本三元组，在成对BERT排序器上训练一个排序模仿模型，无需依赖相关性分数。
• 利用模仿模型的梯度，引导生成通过成对目标函数操纵排序顺序的对抗性触发器。
• 设计一种基于成对锚点的触发器生成器（PAT），通过锚点优化为每个候选文档定制触发器，以最大化排序扰乱效果。
• 在目标函数中整合下一句预测损失与语言模型流畅性约束，以确保触发器的语义一致性和自然性。
• 将生成的触发器注入文档文本的开头、中间或末尾，并评估其在原始黑盒模型上的可迁移性。
• 通过人工评估与防御缓解分析，验证触发器的隐蔽性与对潜在防御措施的鲁棒性。

实验结果

研究问题

• RQ1 能否仅通过目标模型的排序输出，利用排序模仿模型有效逆向工程黑盒神经文档排序模型？
• RQ2 所提出的PAT触发器生成器在仅引入极小且难以察觉的修改下，向目标模型迁移对抗扰动的效果如何？
• RQ3 流畅性与语义一致性约束在多大程度上提升了对抗性触发器的隐蔽性？
• RQ4 触发器位置（开头、中间、末尾）如何影响攻击成功率与隐蔽性？
• RQ5 在输入修剪或对抗训练等缓解策略下，所提出的攻击是否仍具有效性？

主要发现

• 排序模仿模型在TREC DL 2019数据集上达到89.9 MRR@10，与目标模型的90.1非常接近，证明了其强大的可迁移性。
• 当触发器插入文档末尾时，PAT攻击的攻击成功率高达99.2%，且17.2%的无关文档被排进前100名。
• 结合流畅性与一致性约束生成的触发器在人工评估中显著更自然、更难被检测，验证了其隐蔽性优势。
• 即使移除语言模型流畅性或下一句预测损失，攻击仍保持有效，尽管性能略有下降。
• 该方法在攻击成功率与触发器隐蔽性方面均优于基线方法，尤其在将触发器注入文档末尾时表现更优。
• 人工评估确认，PAT生成的触发器比基线方法更具流畅性与语义一致性，显著提升了隐蔽性效果。