[论文解读] Origin Tracing and Detecting of LLMs

Linyang Li, Pengyu Wang+3 more|arXiv (Cornell University)|Apr 27, 2023

Topic Modeling被引用 6

一句话总结

本文提出了大型语言模型（LLMs）的来源追溯方法，提出了一种基于模型特征的Sniffer方法——通过跨LLMs的对比特征检测文本来源。该方法在白盒和黑盒设置下均表现良好，能高精度追溯多种LLMs（包括蒸馏模型如Alpaca）的来源，并为未来研究提供了基准工具包。

ABSTRACT

The extraordinary performance of large language models (LLMs) heightens the importance of detecting whether the context is generated by an AI system. More importantly, while more and more companies and institutions release their LLMs, the origin can be hard to trace. Since LLMs are heading towards the time of AGI, similar to the origin tracing in anthropology, it is of great importance to trace the origin of LLMs. In this paper, we first raise the concern of the origin tracing of LLMs and propose an effective method to trace and detect AI-generated contexts. We introduce a novel algorithm that leverages the contrastive features between LLMs and extracts model-wise features to trace the text origins. Our proposed method works under both white-box and black-box settings therefore can be widely generalized to detect various LLMs.(e.g. can be generalized to detect GPT-3 models without the GPT-3 models). Also, our proposed method requires only limited data compared with the supervised learning methods and can be extended to trace new-coming model origins. We construct extensive experiments to examine whether we can trace the origins of given texts. We provide valuable observations based on the experimental results, such as the difficulty level of AI origin tracing, and the AI origin similarities, and call for ethical concerns of LLM providers. We are releasing all codes and data as a toolkit and benchmark for future AI origin tracing and detecting studies. \footnote{We are releasing all available resource at \url{https://github.com/OpenLMLab/}.}

研究动机与目标

• 应对大型语言模型广泛应用且能力日益增强背景下，对AI生成文本来源追溯的迫切需求。
• 识别现有检测方法的局限性：将AI生成视为二元分类任务，缺乏对来源的细粒度分辨能力。
• 开发一种可泛化、数据高效的方法，用于追溯包括白盒和蒸馏模型在内的多样化LLM的来源。
• 建立基准和开源工具包，支持LLM来源追溯与检测领域的可复现研究。

提出的方法

• 提出Sniffer检测框架，从LLM输出中提取模型级对比特征，以区分文本来源。
• 采用基于启发式的特征工程，捕捉不同LLM（如GPT-2、GPT-J、LLaMA）之间的内在模型特异性差异。
• 应用轻量级线性分类器，将提取的特征映射至特定模型来源，实现白盒与黑盒检测。
• 设计多级来源分类系统，不仅可追溯基础模型，还可追溯指令微调变体（如Alpaca、Dolly）。
• 构建SnifferBench，一个包含多种LLM和指令类型的多样化基准数据集，用于评估来源追溯性能。
• 结合语义特征与模型级特征，采用混合检测方法（Sniffer+RoBERTa），提升在不同模型能力与指令变化下的鲁棒性。

实验结果

研究问题

• RQ1 模型级特征是否能有效区分多样化LLM生成的AI文本来源，即使源模型不可完全访问？
• RQ2 源LLM的强度（如GPT-2与GPT-3.5）如何影响来源追溯的难度？
• RQ3 来源追溯在多大程度上能检测到由更强LLM输出微调或蒸馏得到的模型（如Alpaca、Dolly）？
• RQ4 不同指令提示如何影响AI生成文本在不同模型间的可检测性？
• RQ5 结合语义特征与模型级特征的混合方法，是否优于单独使用任一方法，从而提升来源追溯性能？

主要发现

• Sniffer在白盒与黑盒设置下，对开源LLM（如GPT-2、GPT-J、LLaMA）的来源追溯均实现了高精度。
• 由更强LLM（如GPT-3.5）生成的文本比GPT-2等弱模型生成的文本更难追溯，表明模型能力越强，检测难度越高。
• 对齐过程（如指令微调）对生成文本特征的影响强于基础模型本身，例如Alpaca和Dolly被分类为ChatGPT生成，说明对齐策略具有显著影响。
• Sniffer能以高F1得分成功区分GPT-J与GPT-Neo的来源，证明其具备区分密切相关模型的能力。
• 基于RoBERTa的监督方法无法追溯GPT-2生成的文本，凸显了仅依赖语义特征的局限性，同时验证了模型级特征的优越性。
• 混合方法Sniffer+RoBERTa优于单一方法，证明结合语义与模型级特征可显著提升检测鲁棒性。