[论文解读] Synthetically generated text for supervised text analysis

Andrew Halterman|arXiv (Cornell University)|Mar 28, 2023

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文提出使用大型语言模型生成合成文本，用于政治科学中的监督文本分析，以解决高标注成本、罕见类别检索困难及版权限制等问题。结果表明，合成文本可有效训练分类器（如事件检测和民粹主义检测），仅需极少人工标注，尽管性能略逊于真实数据，但可通过对抗性超参数调优技术加以缓解。

ABSTRACT

Supervised text models are a valuable tool for political scientists but present several obstacles to their use, including the expense of hand-labeling documents, the difficulty of retrieving rare relevant documents for annotation, and copyright and privacy concerns involved in sharing annotated documents. This article proposes a partial solution to these three issues, in the form of controlled generation of synthetic text with large language models. I provide a conceptual overview of text generation, guidance on when researchers should prefer different techniques for generating synthetic text, a discussion of ethics, and a simple technique for improving the quality of synthetic text. I demonstrate the usefulness of synthetic text with three applications: generating synthetic tweets describing the fighting in Ukraine, synthetic news articles describing specified political events for training an event detection system, and a multilingual corpus of populist manifesto statements for training a sentence-level populism classifier.

研究动机与目标

• 解决政治科学监督文本分析中人工标注文本带来的高成本与物流挑战。
• 通过生成具有特定内容的合成样本，克服标注过程中罕见事件类别难以获取的问题。
• 通过在训练和共享中用合成替代品替代真实文档，降低版权与隐私障碍。
• 通过一种新颖的对抗性超参数调优技术，提升合成文本的质量与真实感。
• 证明合成文本可有效训练零样本与少样本分类器，即使性能略低于真实数据。

提出的方法

• 利用大型语言模型（如 GPT-2、GPT-3）基于提示词或微调参数，生成内容与风格可控的合成文本。
• 应用一种新颖的对抗性技术，优化超参数，以生成难以与真实文本区分的合成文本。
• 采用两阶段方法：首先生成合成数据，然后在该数据上训练标准分类器（如词袋模型），以提升可解释性与计算效率。
• 利用现有标注数据提示或微调语言模型，通过生成合成样本实现数据增强。
• 通过人工评估与下游任务中的模型性能，评估合成文本质量，并指导改进。
• 应用提示工程与条件生成技术，确保合成输出在事实一致性与相关性方面表现良好。

实验结果

研究问题

• RQ1 由大型语言模型生成的合成文本是否能有效替代真实标注数据，用于训练监督文本分类器？
• RQ2 合成文本在多大程度上可降低标注成本并改善罕见事件类别的检索？
• RQ3 如何衡量并提升合成文本质量，以最小化其与真实数据相比的性能下降？
• RQ4 合成文本在何种方式下可支持政治文本分析中的零样本或少样本学习？
• RQ5 在以合成文本替代真实数据时，会引发哪些伦理与方法论上的权衡？

主要发现

• 生成的关于乌克兰战争的合成推文，其真实感极高，人类评估者难以与真实推文区分。
• 合成新闻文章成功用于训练事件检测模型，表明合成数据可有效解决数据检索与版权问题。
• 通过多语言合成民粹主义宣言语料，实现了无需人工标注数据的句子级民粹主义分类器训练，并取得有意义的性能表现。
• 基于合成数据训练的模型性能略低于基于真实数据训练的模型，但通过对抗性超参数调优，该性能差距得以缩小。
• 使用合成文本使研究人员能够绕过版权限制与隐私担忧，同时仍可开展模型训练与评估。
• 研究发现，部分民粹主义政党的宣言中民粹语言成分极少，对将宣言视为研究民粹主义主要来源的假设构成挑战。