[论文解读] REMARK-LLM: A Robust and Efficient Watermarking Framework for Generative Large Language Models

Ruisi Zhang, Shehzeen Samarah Hussain+2 more|arXiv (Cornell University)|Oct 18, 2023

Advanced Steganography and Watermarking Techniques被引用 9

一句话总结

REMARK-LLM 引入一个基于学习的三模块水印框架（信息编码、重新参数化、解码），并具备优化的波束搜索，在保持语义和鲁棒性的同时，能够嵌入比现有方法多出最多 2× 的水印位。

ABSTRACT

We present REMARK-LLM, a novel efficient, and robust watermarking framework designed for texts generated by large language models (LLMs). Synthesizing human-like content using LLMs necessitates vast computational resources and extensive datasets, encapsulating critical intellectual property (IP). However, the generated content is prone to malicious exploitation, including spamming and plagiarism. To address the challenges, REMARK-LLM proposes three new components: (i) a learning-based message encoding module to infuse binary signatures into LLM-generated texts; (ii) a reparameterization module to transform the dense distributions from the message encoding to the sparse distribution of the watermarked textual tokens; (iii) a decoding module dedicated for signature extraction; Furthermore, we introduce an optimized beam search algorithm to guarantee the coherence and consistency of the generated content. REMARK-LLM is rigorously trained to encourage the preservation of semantic integrity in watermarked content, while ensuring effective watermark retrieval. Extensive evaluations on multiple unseen datasets highlight REMARK-LLM proficiency and transferability in inserting 2 times more signature bits into the same texts when compared to prior art, all while maintaining semantic integrity. Furthermore, REMARK-LLM exhibits better resilience against a spectrum of watermark detection and removal attacks.

研究动机与目标

• 说明为什么在 LLM 生成文本中 IP 保护和内容追踪是至关重要的。
• 提出一个为 LLM 输出量身定制的稳健而高效的水印框架。
• 设计一个三模块架构（信息编码、重新参数化、解码），并配备优化的解码波束搜索。
• 端到端训练，在保留语义的同时实现可靠的水印提取，并对变换具有鲁棒性。
• 展示在未见数据集和攻击场景上的可迁移性和鲁棒性。

提出的方法

• 使用基于 Seq2Seq 的信息编码模块，将二进制签名嵌入到 LLM 生成文本的分布中。
• 应用带有 Gumbel-Softmax 的重新参数化步骤，将密集的水印分布转换为稀疏的令牌分布。
• 使用基于 Transformer 的信息解码器从水印表示中恢复嵌入的签名。
• 在水印插入过程中整合优化的波束搜索，以保持一致性并最大化可提取性。
• 端到端训练，结合语义损失和信息恢复损失，以及对恶意变换的鲁棒性。
• 在分段文本和长序列文本上对基线方法（CATER、KGW、EXP、AWT）进行评估，并测试对未见数据的可迁移性。

Figure 1: LLM-generated text watermarking scenario. The local user sends prompts to the remote LLM cloud API, and the API watermarks (WM) the responded texts before sending them back to users. LLM proprietor claims ownership by using the message decoding module to decode the signatures and compare t

实验结果

研究问题

• RQ1 REMARK-LLM 能否在不损害生成文本语义质量的前提下嵌入稳健的水印？
• RQ2 在常见文本变换和攻击下，REMARK-LLM 的水印提取表现如何？
• RQ3 在保持质量的同时，REMARK-LLM 能否嵌入比先前神经方法更长的水印签名？
• RQ4 该框架在未见数据集上无需再训练即可实现迁移吗？
• RQ5 与现有水印方案相比，效率和鲁棒性特征是什么？

主要发现

• REMARK-LLM 在相同内容中嵌入的签名位比现有方法多出 2×。
• 插入被证明很快，例如在比较中在 1.5 秒内完成。
• 该框架保持语义完整性，平均 BERT 分数约为 0.90，并在不进行额外微调的情况下对未见来源显示出迁移能力。
• 在水印检测和移除攻击下，REMARK-LLM 的平均 AUC 为 0.85。
• 相较基线，REMARK-LLM 更好地保持语义和连贯性，同时增加了签名容量。
• 长序列水印（例如 640 个 token）在对比方法中表现更优。

Figure 2: REMARK-LLM’s Watermarking Framework. The left is an overview of REMARK-LLM: The message encoding module leverages an optimized beam search algorithm to produce coherent watermarked contents; The message decoding module is designed for efficient watermark extraction. The right is REMARK-LLM