[论文解读] Source Attribution for Large Language Model-Generated Data

Jingtan Wang, Xinyang Lu+5 more|arXiv (Cornell University)|Oct 1, 2023

Topic Modeling被引用 7

一句话总结

本文提出WASA，一种水印框架，可将独特且不可察觉的水印嵌入大型语言模型（LLM）生成的文本中，以实现准确的来源归属与数据溯源。通过训练LLM将不同数据提供方的特征映射到特定水印，WASA在保持文本生成质量与鲁棒性的同时，实现了高达76.12%的来源归属准确率，即使在对抗性攻击下也表现稳健。

ABSTRACT

The impressive performances of Large Language Models (LLMs) and their immense potential for commercialization have given rise to serious concerns over the Intellectual Property (IP) of their training data. In particular, the synthetic texts generated by LLMs may infringe the IP of the data being used to train the LLMs. To this end, it is imperative to be able to perform source attribution by identifying the data provider who contributed to the generation of a synthetic text by an LLM. In this paper, we show that this problem can be tackled by watermarking, i.e., by enabling an LLM to generate synthetic texts with embedded watermarks that contain information about their source(s). We identify the key properties of such watermarking frameworks (e.g., source attribution accuracy, robustness against adversaries), and propose a source attribution framework that satisfies these key properties due to our algorithmic designs. Our framework enables an LLM to learn an accurate mapping from the generated texts to data providers, which sets the foundation for effective source attribution. Extensive empirical evaluations show that our framework achieves effective source attribution.

研究动机与目标

• 为应对大型语言模型生成内容中日益增长的知识产权（IP）侵权问题，特别是未经许可使用训练数据的问题。
• 通过在LLM输出中嵌入独特水印，实现来源归属——识别哪一数据提供方参与了合成文本的生成。
• 支持数据溯源，使数据提供方能够验证其数据是否被用于训练LLM。
• 设计一种水印框架，保持LLM性能，支持大量数据提供方，并能抵抗水印移除攻击。
• 开发一种可适应不同LLM架构与训练方式的系统。

提出的方法

• WASA框架通过在不同数据提供方的输入文本与由不可见Unicode字符（如U+200B、U+200C）组成的独特、不可察觉水印之间学习映射关系，实现水印嵌入。
• 水印通过在精选数据集上的第二阶段预训练阶段实现，其中每个数据提供方的内容均关联一个独特的水印序列。
• 通过利用模型内部表征学习能力，水印设计对常见攻击（如改写、截断、标记级扰动）具有鲁棒性。
• 通过训练分类器头识别水印模式并将其映射到对应数据提供方，实现来源归属解码。
• 框架支持可变水印长度（5–15个字符）与可变字符集（每个位置可选2–6个字符），提升可扩展性与安全性。
• 实验评估基于在ArXiv数据集上微调的GPT-2，包含对数据量、训练轮数、水印长度与字符集多样性等的消融研究。

Figure 1: Illustration of WASA ’s problem setting. Watermarks are embedded into the texts from data providers for training the LLM. The LLM produced by our WASA framework can generate synthetic texts with embedded watermarks that allow for effective source attribution and data provenance.

实验结果

研究问题

• RQ1 水印框架能否实现对LLM生成文本来源提供方的准确归属？
• RQ2 该水印方案对改写或标记操作等对抗性攻击的鲁棒性如何？
• RQ3 水印对LLM文本生成质量（如困惑度）的影响程度如何？
• RQ4 数据提供方数量、水印长度与字符集大小对归属准确率的影响如何？
• RQ5 经水印处理的LLM能否泛化至其他LLM架构，并在数据溯源验证中保持有效性？

主要发现

• WASA使用5个字符的水印实现了76.12%的来源归属准确率，Top-3准确率达95.48%，表明在识别数据提供方方面具有高精度。
• 将训练轮数从1增加到2，来源归属准确率从74.84%提升至76.96%，表明更多训练可带来性能增益。
• 使用更多训练数据（如每个ArXiv类别33%的数据）可同时提升来源归属准确率与困惑度，表明具备可扩展性优势。
• 水印长度对准确率影响极小：5、10与15个字符的水印表现相近，其中5个字符水印略胜一筹。
• 将每个水印位置的可用Unicode字符数从6减少至2，Top-3准确率略有下降（至89.92%），表明更大的字符集可提升区分能力。
• 即使在嵌入水印后，框架仍保持极低的困惑度（如ArXiv上为11.3171），表明对文本生成质量的退化可忽略。

Figure 2: Sentences embedded (top left) and not embedded (top right) with our imperceptible watermark visualized in the bottom sentence.