[论文解读] Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information

Zhengmian Hu, Gang Wu+5 more|arXiv (Cornell University)|Nov 20, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种基于标记级别的对抗性提示检测方法，利用困惑度和相邻标记的上下文信息来识别大语言模型中的恶意输入。通过结合基于优化的方法与概率图模型（PGM）方法，该方法在小型模型（如 GPT-2-small）上也实现了高检测准确率，展示了通过可视化热力图叠加有效识别对抗性序列的强大性能。

ABSTRACT

In recent years, Large Language Models (LLM) have emerged as pivotal tools in various applications. However, these models are susceptible to adversarial prompt attacks, where attackers can carefully curate input strings that mislead LLMs into generating incorrect or undesired outputs. Previous work has revealed that with relatively simple yet effective attacks based on discrete optimization, it is possible to generate adversarial prompts that bypass moderation and alignment of the models. This vulnerability to adversarial prompts underscores a significant concern regarding the robustness and reliability of LLMs. Our work aims to address this concern by introducing a novel approach to detecting adversarial prompts at a token level, leveraging the LLM's capability to predict the next token's probability. We measure the degree of the model's perplexity, where tokens predicted with high probability are considered normal, and those exhibiting high perplexity are flagged as adversarial. Additionaly, our method also integrates context understanding by incorporating neighboring token information to encourage the detection of contiguous adversarial prompt sequences. To this end, we design two algorithms for adversarial prompt detection: one based on optimization techniques and another on Probabilistic Graphical Models (PGM). Both methods are equipped with efficient solving methods, ensuring efficient adversarial prompt detection. Our token-level detection result can be visualized as heatmap overlays on the text sequence, allowing for a clearer and more intuitive representation of which part of the text may contain adversarial prompts.

研究动机与目标

• 解决大语言模型对通过精心设计输入操纵模型输出的对抗性提示的脆弱性问题。
• 在标记级别而非序列级别检测对抗性提示，以实现对恶意内容的精确定位。
• 通过整合相邻标记的上下文信息与困惑度分数，提升检测的可靠性。
• 开发高效、轻量级的检测方法，适用于现实世界大语言模型系统，且计算成本低。

提出的方法

• 利用语言模型的下一个标记概率预测结果，计算标记级别的困惑度，作为对抗性可能性的核心指标。
• 整合相邻标记的上下文信息，以检测连续的对抗性序列，提升对碎片化或细微攻击的鲁棒性。
• 采用两种不同的检测算法：一种基于优化技术，另一种基于概率图模型（PGM）进行联合概率估计。
• 通过在输入文本上叠加热力图可视化检测结果，颜色强度反映每个标记为对抗性的可能性。
• 使用 GPT-2-small（1.24 亿参数）作为基础模型，以确保计算开销低且具备广泛的可部署性。
• 应用困惑度聚合与平滑技术，以增强检测稳定性并减少误报。

实验结果

研究问题

• RQ1 在大语言模型中，标记级别的困惑度能否可靠地区分对抗性提示与正常输入？
• RQ2 整合相邻标记的上下文信息在检测连续对抗性序列方面有何改进作用？
• RQ3 能否在不牺牲准确率的前提下，基于小型语言模型构建高效、轻量级的检测系统？
• RQ4 基于优化的方法与基于 PGM 的方法在精度与定位能力方面，相较于序列级别方法的优越程度如何？
• RQ5 该方法在检测通过离散优化生成的对抗性提示（一种常见攻击向量）方面效果如何？

主要发现

• 所提出的方法在使用 GPT-2-small 时实现了句子级别对抗性提示检测的完美性能，表明在序列级别具有高度可靠性。
• 基于困惑度与上下文感知分析的标记级别检测可高精度识别对抗性标记，即使在复杂且经过优化的攻击模式下亦然。
• 基于 PGM 的方法在建模相邻标记之间依赖关系方面表现优异，显著提升了多标记对抗性序列的检测能力。
• 基于优化的方法实现了高效、可扩展的检测，推理开销低，适用于实时部署。
• 热力图可视化能有效突出输入文本中的对抗性区域，为开发人员和安全团队提供可解释且可操作的洞察。
• 该方法在应用于小型、资源高效的模型（如 GPT-2-small）时仍保持高准确率，显著降低了硬件与计算资源需求。