[论文解读] PETGEN: Personalized Text Generation Attack on Deep Sequence Embedding-based Classification Models

Bing He, Mustaque Ahamad+1 more|arXiv (Cornell University)|Sep 14, 2021

Spam and Phishing Detection参考文献 29被引用 7

一句话总结

PETGEN 是一种端到端的对抗性文本生成框架，通过生成个性化、上下文感知的帖子，有效规避基于深度学习的用户序列分类模型。通过利用用户历史记录、写作风格和主题相关性，PETGEN 显著降低了分类器的性能——在 Yelp 和 Wikipedia 数据集上，其生成的文本质量更高、更逼真，同时实现了最低的 F1 分数和最高的攻击成功率，优于五种基线方法。

ABSTRACT

What should a malicious user write next to fool a detection model? Identifying malicious users is critical to ensure the safety and integrity of internet platforms. Several deep learning-based detection models have been created. However, malicious users can evade deep detection models by manipulating their behavior, rendering these models of little use. The vulnerability of such deep detection models against adversarial attacks is unknown. Here we create a novel adversarial attack model against deep user sequence embedding based classification models, which use the sequence of user posts to generate user embeddings and detect malicious users. In the attack, the adversary generates a new post to fool the classifier. We propose a novel end-to-end Personalized Text Generation Attack model, called PETGEN, that simultaneously reduces the efficacy of the detection model and generates posts that have several key desirable properties. Specifically, PETGEN generates posts that are personalized to the user's writing style, have knowledge about a given target context, are aware of the user's historical posts on the target context, and encapsulate the user's recent topical interests. We conduct extensive experiments on two real-world datasets (Yelp and Wikipedia, both with ground-truth of malicious users) to show that PETGEN significantly reduces the performance of popular deep user sequence embedding-based classification models. PETGEN outperforms five attack baselines in terms of text quality and attack efficacy in both white-box and black-box classifier settings. Overall, this work paves the path towards the next generation of adversary-aware sequence classification models.

研究动机与目标

• 研究基于深度用户序列嵌入的分类模型在对抗性攻击下的脆弱性，通过文本生成实现。
• 开发一种方法，生成与用户写作风格、历史行为和近期兴趣相匹配的个性化帖子。
• 构建一种文本生成攻击，能够有效欺骗基于序列的分类器，同时保持高文本质量和上下文相关性。
• 使用真实世界数据集，在真实对抗性条件下评估现有检测模型的鲁棒性。

提出的方法

• PETGEN 采用基于用户历史记录、目标上下文和近期帖子的端到端序列到序列文本生成模型。
• 其集成了一种上下文感知生成器，使生成的文本与用户的写作风格和主题兴趣保持一致。
• 该模型采用多任务学习目标，结合攻击成功率、风格相似性和上下文相关性，以优化帖子生成。
• 引入序列感知注意力机制，以捕捉历史帖子的相关性，提升上下文连贯性。
• 将攻击形式化为约束优化问题，以最小化分类器的 F1 分数，同时最大化文本质量和个性化程度。
• PETGEN 在两个真实世界数据集——Yelp 和 Wikipedia 上进行训练和评估，使用真实标签识别恶意用户。

实验结果

研究问题

• RQ1 PETGEN 在白盒和黑盒设置下，对深度用户序列分类模型的 F1 分数降低效果如何？
• RQ2 PETGEN 在多大程度上生成了与用户写作风格和近期兴趣相匹配的个性化文本？
• RQ3 在文本质量和攻击成功率方面，PETGEN 与现有攻击基线相比表现如何？
• RQ4 生成帖子的情感倾向与原始用户帖子的一致性如何？
• RQ5 PETGEN 的哪些组件对攻击有效性和文本质量的提升贡献最大？

主要发现

• 在 Yelp 数据集上，PETGEN 将虚假评论者检测模型的 F1 分数降至所有方法中的最低水平，实现了最高的攻击成功率。
• PETGEN 在所有基线中取得了最高的 BLEU 分数（4.2）和目标上下文相似度（0.68），表明其在文本质量和相关性方面表现更优。
• 在人工评估中，58.33% 的 PETGEN 生成帖子被认为比当前最先进基线 Malcom 的帖子更具真实性。
• 70.8% 的 PETGEN 生成帖子与原始用户帖子保持相同的情感极性，确保与用户行为的一致性。
• 消融实验证实，所有组件——攻击目标、风格建模和上下文相关性——均显著提升了攻击性能和文本质量。
• 在白盒和黑盒设置下，PETGEN 在所有指标上均优于五种基线方法，展现出强大的泛化能力。