[论文解读] Towards Next-Generation Steganalysis: LLMs Unleash the Power of Detecting Steganography

Minhao Bai. Jinshuai Yang, Kaiyi Pang+2 more|arXiv (Cornell University)|May 15, 2024

Advanced Steganography and Watermarking Techniques被引用 5

一句话总结

论文研究使用带 LoRA 微调的指令调优大型语言模型在领域特定和领域无关的语言隐写分析中的应用，显示在检测隐写文本方面优于传统基线。

ABSTRACT

Linguistic steganography provides convenient implementation to hide messages, particularly with the emergence of AI generation technology. The potential abuse of this technology raises security concerns within societies, calling for powerful linguistic steganalysis to detect carrier containing steganographic messages. Existing methods are limited to finding distribution differences between steganographic texts and normal texts from the aspect of symbolic statistics. However, the distribution differences of both kinds of texts are hard to build precisely, which heavily hurts the detection ability of the existing methods in realistic scenarios. To seek a feasible way to construct practical steganalysis in real world, this paper propose to employ human-like text processing abilities of large language models (LLMs) to realize the difference from the aspect of human perception, addition to traditional statistic aspect. Specifically, we systematically investigate the performance of LLMs in this task by modeling it as a generative paradigm, instead of traditional classification paradigm. Extensive experiment results reveal that generative LLMs exhibit significant advantages in linguistic steganalysis and demonstrate performance trends distinct from traditional approaches. Results also reveal that LLMs outperform existing baselines by a wide margin, and the domain-agnostic ability of LLMs makes it possible to train a generic steganalysis model (Both codes and trained models are openly available in https://github.com/ba0z1/Linguistic-Steganalysis-with-LLMs).

研究动机与目标

• 推动 AI 生成文本与隐写时代的鲁棒语言隐写分析。
• 提出一种生成型、以人类感知为驱动的方法，利用 LLMs 检测隐写。
• 评估基于 LoRA 微调的指令调优 LLMs 在多个数据集和嵌入方法上的有效性。

提出的方法

• 模型：Bloomz-7B1 和 Llama-7B，使用 LoRA 微调（可训练参数 < 0.1%）。
• 使用指令模板进行微调，以生成可读的检测结果。
• 在由 AC、HC 和 ADG 嵌入方法生成的自然文本与隐写文本数据集上训练。
• 使用准确率和 F1 分数进行评估，并重新定义度量以处理 US/UN 样本。
• 通过混合多数据集实现跨领域泛化，采用领域无关的训练设置。

实验结果

研究问题

• RQ1 指令调优的 LLMs 加 LoRA 微调能否在领域特定的语言隐写分析任务中超越传统隐写分析基线？
• RQ2 在领域无关的设置中，LLMs 是否能在不同的隐写算法和数据集之间实现泛化？
• RQ3 训练轮数、句子长度和提示设计如何影响隐写分析性能？
• RQ4 LLMs 的类似人类文本感知能力在检测隐写中起到什么作用？

主要发现

• 微调后的 LLM（Bloomz/Llama）在领域特定的隐写分析上达到最先进的性能，在 AC、HC 和 ADG 数据集上均优于基线。
• 指令微调使 LLM 能以比基于 BERT 的基线更少的可训练参数实现对隐写文本的高准确率检测。
• 在多样化的预训练数据上训练的 LLM 显示出强大的跨领域检测能力，能够成为通用的隐写分析模型。
• 在电影数据集上的检测准确率约为 90%，且 F1 性能较强；在某些设置中 HC 编码比 AC/ADG 更易被检测。
• 较短的句子和更高的流畅性（较低的困惑度）会影响误判模式，表明将文本流畅性/合理性作为检测线索。
• 在 unseen 情境中，用混合数据集训练的领域无关模型可以超越特定数据集的基线。