[论文解读] Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment

Jim Samuel, Ratnakar Palle+1 more|arXiv (Cornell University)|Jun 15, 2021

Topic Modeling被引用 2

一句话总结

本文提出KL-文本分布对比（KL-TDC），一种基于Kullback-Leibler散度的新方法，用于通过主题和情感衡量机器生成文本与现实世界文本数据分布之间的对齐程度。通过微调GPT-2生成文本，并在疫苗和市场Twitter数据上进行有监督/无监督学习，研究结果表明，KL-TDC能有效量化分布相似性，从而实现受控的、高保真的合成数据生成，适用于自然语言处理研究与应用。

ABSTRACT

Efficient textual data distributions (TDD) alignment and generation are open research problems in textual analytics and NLP. It is presently difficult to parsimoniously and methodologically confirm that two or more natural language datasets belong to similar distributions, and to identify the extent to which textual data possess alignment. This study focuses on addressing a segment of the broader problem described above by applying multiple supervised and unsupervised machine learning (ML) methods to explore the behavior of TDD by (i) topical alignment, and (ii) by sentiment alignment. Furthermore we use multiple text generation methods including fine-tuned GPT-2, to generate text by topic and by sentiment. Finally we develop a unique process driven variation of Kullback-Leibler divergence (KLD) application to TDD, named KL Textual Distributions Contrasts(KL-TDC) to identify the alignment of machine generated textual corpora with naturally occurring textual corpora. This study thus identifies a unique approach for generating and validating TDD by topic and sentiment, which can be used to help address sparse data problems and other research, practice and classroom situations in need of artificially generated topic or sentiment aligned textual data.

研究动机与目标

• 为解决验证机器生成文本是否与现实世界中文本数据分布按主题和情感对齐这一开放性挑战。
• 开发一种系统化方法，用于生成具有受控主题和情感分布的合成文本数据。
• 提出并评估一种新型度量指标——KL-文本分布对比（KL-TDC），用于衡量真实文本与生成文本之间分布对齐程度。
• 展示该方法在缓解数据稀缺问题以及支持自然语言处理研究、教育和行为金融应用方面的实用性。

提出的方法

• 使用微调后的GPT-2生成与指定主题（疫苗、市场）和情感（正面、负面、中性）对齐的合成文本。
• 在预处理后的Twitter数据上训练有监督和无监督的机器学习模型，以分类主题和情感。
• 应用Kullback-Leibler散度（KLD）的改进形式，比较真实语料库与生成语料库中文本或词元频率的概率分布。
• KL-TDC度量指标量化了真实文本数据分布与生成数据分布之间的差异，作为对齐程度的验证分数。
• 采用三种文本生成层级：直接概率建模、基于RNN/LSTM的半结构化生成，以及基于GPT-2的结构化生成。
• 该方法利用主题和情感分布的先验知识，指导并评估生成过程。

实验结果

研究问题

• RQ1 GPT-2在多大程度上能够生成在主题和情感方面与现实世界Twitter数据分布特征相匹配的文本？
• RQ2 所提出的KL-TDC度量指标在量化真实与生成文本数据分布之间对齐程度方面的有效性如何？
• RQ3 有监督和无监督学习模型在分类并准确反映训练数据中潜在主题和情感分布方面表现如何？
• RQ4 关键词的包含或排除如何影响分类与生成模型的性能？
• RQ5 KL-TDC框架能否推广到疫苗和市场讨论之外的其他主题和语言情境？

主要发现

• KL-TDC度量指标成功量化了真实与生成文本之间的分布对齐程度，为合成数据质量提供了可靠的验证机制。
• 微调后的GPT-2生成的文本在主题和情感方面均与现实世界分布高度一致，表现为KL-TDC得分较低。
• 当包含关键词时，有监督学习方法的分类准确率高于无监督方法，表明显式监督可提升模型性能。
• 无监督方法在捕捉主题和情感分布方面表现中等，表明在缺乏标注数据的情况下识别细微语义模式存在局限性。
• 研究证实，利用GPT-2与KL-TDC可实现受控的、分布对齐的文本生成，为自然语言处理中的数据增强提供可扩展的解决方案。
• 该框架支持为数据稀疏领域和教育用途创建合成数据，减少对大规模真实世界数据集的依赖。