[论文解读] TextDecepter: Hard Label Black Box Attack on Text Classifiers

Sachin Saxena|arXiv (Cornell University)|Aug 16, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用 5

一句话总结

TextDecepter 提出了一种新颖的硬标签黑盒攻击框架，用于文本分类器，其中仅可访问最终预测结果（不包括置信度分数）。它利用词性标注的同义词选择和句子重要性启发式方法，生成语义相似、语法正确的对抗性样本，在 BERT 等最先进模型上实现了超过 50% 的攻击成功率。

ABSTRACT

Machine learning has been proven to be susceptible to carefully crafted samples, known as adversarial examples. The generation of these adversarial examples helps to make the models more robust and gives us an insight into the underlying decision-making of these models. Over the years, researchers have successfully attacked image classifiers in both, white and black-box settings. However, these methods are not directly applicable to texts as text data is discrete. In recent years, research on crafting adversarial examples against textual applications has been on the rise. In this paper, we present a novel approach for hard-label black-box attacks against Natural Language Processing (NLP) classifiers, where no model information is disclosed, and an attacker can only query the model to get a final decision of the classifier, without confidence scores of the classes involved. Such an attack scenario applies to real-world black-box models being used for security-sensitive applications such as sentiment analysis and toxic content detection.

研究动机与目标

• 解决在仅可访问最终预测结果的硬标签黑盒设置下，NLP 对抗攻击的空白。
• 开发一种方法以识别关键词并生成扰动，而无需使用梯度或置信度分数。
• 确保生成的对抗性样本保持语义相似性、句法正确性和语言流畅性。
• 与先前基于词级扰动的攻击框架相比，降低内存开销。
• 在现实、真实世界的攻击场景下，验证最先进文本分类器的鲁棒性。

提出的方法

• 基于类别强度的可加性假设，对句子进行重要性排序，以识别关键句子。
• 应用粗粒度和细粒度的词性（POS）标注，以筛选能保持语法正确性的同义词。
• 利用原始类别中的同义词聚合来指导替换决策，而无需置信度分数。
• 采用基于启发式的筛选过程，迭代地将词语替换为能将输入推向决策边界的同义词。
• 引入两阶段过滤：第一阶段通过句子重要性识别关键词语；第二阶段使用 POS 标注和聚合约束选择有效同义词。
• 仅依赖最终模型预测（硬标签）来引导攻击，避免依赖置信度分数或模型架构。

实验结果

研究问题

• RQ1 在仅可访问最终预测结果的硬标签黑盒设置下，能否有效生成文本分类器的对抗性样本？
• RQ2 在无置信度分数的情况下，如何在词级扰动过程中保持语法正确性和语义相似性？
• RQ3 词性标注粒度（粗粒度 vs. 细粒度）在保持流畅性和攻击有效性方面起到什么作用？
• RQ4 在缺乏梯度或置信度信息的情况下，同义词聚合的使用如何提升攻击成功率？
• RQ5 与现有黑盒攻击框架相比，所提出方法在多大程度上降低了内存使用？

主要发现

• TextDecepter 在 IMDB 和 MR 情感分析数据集上，对 BERT 等最先进模型实现了 50% 或以上的攻击成功率。
• 在 IMDB 数据集上，使用同义词聚合时，BERT 的准确率从 88.3% 降低至 30.9%；而未使用聚合时，准确率降至 63.2%，表明聚合机制在攻击中的关键作用。
• 与先前基于词级扰动的框架相比，该方法降低了内存使用，提升了效率。
• 人工评估确认，对抗性样本保持了高度的语法正确性和与原始文本的语义相似性。
• 使用细粒度 POS 标注可提升语法正确性，但在人类理解方面相对于粗粒度标注的收益递减，表明实际部署中存在权衡。
• 消融研究显示，若移除基于聚合的同义词选择，攻击成功率会提高（例如在 IMDB 上提升 32%），表明在缺乏置信度分数的情况下，聚合机制对有效导航决策边界至关重要。