[论文解读] Unbiased Watermark for Large Language Models

Zhengmian Hu, Lichang Chen+4 more|arXiv (Cornell University)|Sep 22, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出了一种针对大语言模型的无偏水印方法，通过确保水印不改变模型的概率分布来保持输出质量。利用 δ-reweight 和 γ-reweight 技术，该方法实现了不可检测的水印，使服务提供商能够在不降低性能或导致用户检测到的情况下追踪模型输出。

ABSTRACT

The recent advancements in large language models (LLMs) have sparked a growing apprehension regarding the potential misuse. One approach to mitigating this risk is to incorporate watermarking techniques into LLMs, allowing for the tracking and attribution of model outputs. This study examines a crucial aspect of watermarking: how significantly watermarks impact the quality of model-generated outputs. Previous studies have suggested a trade-off between watermark strength and output quality. However, our research demonstrates that it is possible to integrate watermarks without affecting the output probability distribution with appropriate implementation. We refer to this type of watermark as an unbiased watermark. This has significant implications for the use of LLMs, as it becomes impossible for users to discern whether a service provider has incorporated watermarks or not. Furthermore, the presence of watermarks does not compromise the performance of the model in downstream tasks, ensuring that the overall utility of the language model is preserved. Our findings contribute to the ongoing discussion around responsible AI development, suggesting that unbiased watermarks can serve as an effective means of tracking and attributing model outputs without sacrificing output quality.

研究动机与目标

• 解决大语言模型中水印强度与输出质量之间长期存在的权衡问题。
• 开发一种对用户不可检测但可被服务提供商可靠检测到的水印方案。
• 确保水印技术不会降低模型在机器翻译和摘要生成等下游任务上的性能。
• 为设计和检测具有可证明安全属性的无偏水印提供理论基础框架。
• 挑战水印必然损害输出质量或可检测性的假设。

提出的方法

• 提出一种基于使用私钥重加权模型输出 logits 的新型水印框架，确保输出概率分布保持不变。
• 引入 δ-reweight 和 γ-reweight 技术，以在保持原始分布的同时修改标记概率，从而嵌入水印。
• 采用上下文码历史机制实现 n-shot-undetectability，通过存储过去的上下文码以防止在多次生成中被检测。
• 开发了对数似然比检验的最大最小变体，为第一类错误（假阳性率）提供理论上的上界。
• 使用私钥控制水印嵌入过程，确保仅授权方能够检测到水印。
• 在自回归生成过程中通过将下一个标记的概率分布同时基于上下文和密钥进行条件化来应用水印。

实验结果

研究问题

• RQ1 是否可以在不降低生成文本质量的前提下，在大语言模型中实现水印？
• RQ2 能否设计一种对用户不可检测但服务提供商仍可可靠检测的水印？
• RQ3 是否通过保持输出概率分布，可以消除水印强度与文本质量之间的权衡？
• RQ4 所提出的水印方法是否能在机器翻译和文本摘要等下游 NLP 任务中保持性能？
• RQ5 在对抗性条件下，水印检测可提供哪些理论保证？

主要发现

• 所提出的无偏水印方法保持了原始输出概率分布，确保文本质量无任何下降。
• 大量实验表明，δ-reweight 和 γ-reweight 技术在机器翻译和文本摘要任务中均保持了强劲性能。
• 在无私钥的情况下，用户无法检测到水印，因为输出分布与原始模型在统计上完全相同。
• 最大最小检测方法为第一类错误提供了理论上的上界，提升了检测的可靠性并减少了误报。
• 该方法可在不损害公平性或可用性的情况下，实现对模型生成内容的完整可追溯性。
• 该方法对随机替换攻击具有鲁棒性，但对更复杂的攻击（如改写）的鲁棒性尚未经过测试。