[论文解读] Political Speech Generation

Valentin Kassarnig|arXiv (Cornell University)|Jan 13, 2016

Topic Modeling参考文献 14被引用 9

一句话总结

本文提出了一种混合NLP系统，可为特定美国政党生成政治立场一致、语法正确的演讲稿（支持或反对立场）。该系统结合了语言模型（n-gram、RNN）与主题模型（使用POS过滤共现词的LDA），在国会辩论转录文本上进行训练，在评估中实现了较高的语法质量与语句流畅性，但主题一致性仍是挑战。

ABSTRACT

In this report we present a system that can generate political speeches for a desired political party. Furthermore, the system allows to specify whether a speech should hold a supportive or opposing opinion. The system relies on a combination of several state-of-the-art NLP methods which are discussed in this report. These include n-grams, Justeson & Katz POS tag filter, recurrent neural networks, and latent Dirichlet allocation. Sequences of words are generated based on probabilities obtained from two underlying models: A language model takes care of the grammatical correctness while a topic model aims for textual consistency. Both models were trained on the Convote dataset which contains transcripts from US congressional floor debates. Furthermore, we present a manual and an automated approach to evaluate the quality of generated speeches. In an experimental evaluation generated speeches have shown very high quality in terms of grammatical correctness and sentence transitions.

研究动机与目标

• 开发一种可为特定美国政党及立场（支持或反对）生成政治立场一致演讲的系统。
• 利用NLP技术提升生成政治演讲的语法正确性与结构连贯性。
• 通过人工与自动指标评估生成演讲的质量，重点关注语法、流畅性与主题一致性。
• 探索结合语言模型与主题模型用于政治演讲生成的可行性，使用真实立法辩论数据。

提出的方法

• 使用n-gram、循环神经网络（RNN）及Justeson & Katz（J&K）词性（POS）标记过滤器训练语言模型，以提升语法正确性。
• 采用带有POS过滤的二元组与三元组的潜在狄利克雷分布（LDA）模型，以建模政治主题并确保文本一致性。
• 通过联合概率平衡语言模型与主题模型的输出，生成兼顾流畅性与主题相关性的序列。
• 使用Convote数据集——美国国会立法辩论转录文本——作为两个模型的训练语料。
• 实施自动化评估流程：匹配句子的POS序列以检测语法异常，并比较生成演讲与真实演讲的主题分布。
• 通过12分制的人工评估，评估语法正确性、句子衔接、演讲结构与内容连贯性。

实验结果

研究问题

• RQ1 混合NLP系统能否生成政治立场一致、语法正确且结构合理的演讲？
• RQ2 与基线模型相比，n-gram与POS过滤共现词在多大程度上提升了生成政治演讲的质量？
• RQ3 主题模型（使用共现词过滤的LDA）在多大程度上能维持生成演讲的主题一致性？
• RQ4 人工与自动化评估方法在评估生成政治演讲质量方面有何异同？
• RQ5 当前NLP技术在生成具有连贯且有意义政治内容的演讲方面存在哪些主要局限？

主要发现

• 系统在人工评估中平均得分为12分中的8.1分，语法正确性与句子衔接平均得分为3分中的2.3分。
• 自动评估确认了较高的语法正确性，标准化量表平均得分为0.59，表明流畅性表现良好。
• 主题一致性是表现最弱的方面，人工评估中内容得分平均为3分中的1.5分，自动评估平均得分为0.48，表明仍有改进空间。
• 高人工评分的生成演讲通常也获得高自动评分，验证了自动化评估指标的可靠性。
• 与基线LDA相比，使用J&K POS过滤与n-gram显著提升了语法质量与主题模型性能。
• 尽管在流畅性与结构方面表现良好，系统在维持连贯的高层次政治论证方面仍存在困难，表明当前技术在建模复杂意识形态推理方面存在局限。