[论文解读] Topic-Preserving Synthetic News Generation: An Adversarial Deep Reinforcement Learning Approach

Ahmadreza Mosallanezhad, Kai Shu+1 more|arXiv (Cornell University)|Oct 30, 2020

Topic Modeling参考文献 36被引用 8

一句话总结

本文提出 RLTG，一种强化学习框架，通过选择能最大化主题相关性和对抗真实性的词语来控制 GPT-2 生成主题保持的合成新闻。利用虚假新闻检测器作为奖励信号，该方法生成高质量、逼真的虚假新闻，可规避检测，在 ROUGE-L 和检测准确率指标上优于最先进基线模型。

ABSTRACT

Nowadays, there exist powerful language models such as OpenAI's GPT-2 that can generate readable text and can be fine-tuned to generate text for a specific domain. Considering GPT-2, it cannot directly generate synthetic news with respect to a given topic and the output of the language model cannot be explicitly controlled. In this paper, we study the novel problem of topic-preserving synthetic news generation. We propose a novel deep reinforcement learning-based method to control the output of GPT-2 with respect to a given news topic. When generating text using GPT-2, by default, the most probable word is selected from the vocabulary. Instead of selecting the best word each time from GPT-2's output, an RL agent tries to select words that optimize the matching of a given topic. In addition, using a fake news detector as an adversary, we investigate generating realistic news using our proposed method. In this paper, we consider realistic news as news that cannot be easily detected by a fake news classifier. Experimental results demonstrate the effectiveness of the proposed framework on generating topic-preserving news content than state-of-the-art baselines.

研究动机与目标

• 解决生成保持主题一致的合成新闻的挑战，同时使其看起来真实且不易被虚假新闻分类器识别。
• 通过引入一个强化学习智能体，引导从预训练语言模型（如 GPT-2）中选择词语，实现可控文本生成。
• 通过利用预训练语言模型而非从零开始训练，减少训练时间和资源消耗。
• 研究人工撰写与机器生成新闻之间的差异，以改进虚假新闻检测。
• 开发一种可扩展、快速且可控的合成新闻生成方法，用于研究及应对虚假信息。

提出的方法

• 该框架使用预训练的 GPT-2 模型，在每一步生成下一个词的概率分布。
• 强化学习智能体根据一个平衡主题相关性、流畅性和对抗真实性的奖励函数，从 GPT-2 的输出分布中选择词语。
• 奖励函数由三部分组成：使用 ROUGE-L 分数衡量与训练数据的内容重叠，通过主题编码器计算主题相似性，以及来自虚假新闻分类器的对抗奖励。
• 智能体使用深度 Q 网络（DQN）强化学习进行训练，以最大化序列生成过程中的累积奖励。
• 引入一个判别模块——虚假新闻分类器——提供实时反馈，促使生成的新闻难以被分类器轻易识别。
• 系统通过课程学习策略进行端到端微调，使智能体学会生成连贯、主题一致且逼真的新闻。

实验结果

研究问题

• RQ1 强化学习智能体能否有效控制预训练语言模型，生成保持指定主题的合成新闻？
• RQ2 与虚假新闻分类器进行对抗训练能否提升生成新闻内容的真实感？
• RQ3 在主题保持和检测规避方面，该方法与最先进基线相比表现如何？
• RQ4 奖励函数各组成部分对生成新闻质量与连贯性的影响是什么？
• RQ5 该框架能否比从零开始训练语言模型的方法更快生成高质量合成新闻？

主要发现

• RLTG 框架在测试集上达到 0.58 的 ROUGE-L 分数，显著优于基线方法，在主题保持和流畅性方面表现更优。
• 训练后的虚假新闻分类器准确率达到 81.3%，AUC 为 75.3%，表明生成的新闻具有高度真实感且难以被检测。
• 强化学习智能体的平均奖励随时间推移持续上升，表明在 4,000 次训练迭代内实现了有效学习与收敛。
• 参数分析显示，β 成分（衡量与训练数据重叠程度）对 ROUGE-L 性能影响最大。
• 模型训练时间少于一天，显著快于 Grover 或 GPT-2 等需要数周从零训练的方法。
• 人工评估确认，生成的新闻风格一致、内容连贯、主题聚焦明确，70% 的样本被人工标注者评为可信。