[论文解读] TextSETTR: Label-Free Text Style Extraction and Tunable Targeted Restyling

Parker Riley, Noah Constant+4 more|arXiv (Cornell University)|May 4, 2021

Topic Modeling被引用 8

一句话总结

TextSETTR 提出了一种无标签文本风格迁移方法，通过 T5 从无标签文本的相邻句子中提取风格向量，从而通过操纵特定风格属性实现目标化重风格化。该方法在无标签数据上进行训练，仅需每类四个样本即可实现具有竞争力的情感迁移，并能泛化到包括情感、正式程度和方言在内的多个风格维度。

ABSTRACT

We present a novel approach to the challenging problem of label-free text style transfer. Unlike previous approaches that use parallel or non-parallel labeled data, our technique removes the need for labels entirely, relying instead on the implicit connection in style between adjacent sentences in unlabeled text. We show that T5 (Raffel et al., 2020), a strong pretrained text-to-text model, can be adapted to extract a style vector from arbitrary text and use this vector to condition the decoder to perform style transfer. As the resulting learned style vector space encodes many facets of textual style, we recast transfers as targeted restyling vector operations that adjust specific attributes of the input text while preserving others. When trained over unlabeled Amazon reviews data, our resulting TextSETTR model is competitive on sentiment transfer, even when given only four exemplars of each class. Furthermore, we demonstrate that a single model trained on unlabeled Common Crawl data is capable of transferring along multiple dimensions including dialect, emotiveness, formality, politeness, and sentiment.

研究动机与目标

• 解决无需平行或非平行标注数据的文本风格迁移挑战。
• 通过利用相邻句子之间的隐式风格关联，在无标签文本中学习解耦的风格向量空间。
• 通过操纵特定风格属性实现目标化重风格化，同时保持内容和其他属性不变。
• 在仅使用每类四个样本的少样本设置下，展示情感迁移的优异性能。
• 使用无标签 Common Crawl 数据对单一模型进行训练，使其能够跨多个风格维度实现迁移。

提出的方法

• 利用 T5 作为文本到文本模型，通过相邻句子的潜在表示从输入文本中提取风格向量。
• 使用提取的风格向量作为解码器的条件，实现风格迁移，从而控制特定风格属性。
• 将风格迁移视为在学习到的风格空间中的向量操作，允许对情感或正式程度等属性进行有针对性的调整。
• 在无标签数据上端到端训练模型，依赖句子级别风格一致性的自监督信号。
• 在无需显式标注的情况下，将模型应用于多种风格维度——方言、情感强度、正式程度、礼貌程度和情感——实现迁移。
• 采用对比学习目标，以增强同一文档中相邻句子之间的风格一致性。

实验结果

研究问题

• RQ1 能否通过利用相邻句子之间的隐式风格信号，在无需任何标注数据的情况下有效实现风格迁移？
• RQ2 能否仅使用无标签数据，使单一模型在包括情感、正式程度和方言在内的多种多样风格维度上实现泛化？
• RQ3 风格迁移在多大程度上可以实现目标化，即在保持内容和其他属性不变的前提下，仅操纵特定属性？
• RQ4 该模型在少样本设置下的表现如何，特别是在每类仅提供四个样本时？
• RQ5 能否从无标签数据中学习到一个统一的风格向量空间，以支持解耦且可控的风格编辑？

主要发现

• TextSETTR 仅使用每类四个样本即在情感迁移任务中实现了具有竞争力的性能，展现出强大的少样本泛化能力。
• 该模型在无标签 Common Crawl 数据上训练后，能泛化到包括情感、正式程度、礼貌程度、情感强度和方言在内的多个风格维度。
• 所学习的风格向量空间支持通过操纵特定属性实现目标化重风格化，同时保持内容和其他风格特征不变。
• 该模型完全依赖无标签数据进行训练，无需使用平行或非平行标注数据。
• 该方法表明，相邻句子之间的隐式风格信号可被有效利用于风格表征学习。
• 该方法在无需风格标签显式监督的情况下实现了优异性能，凸显了自监督学习在风格迁移中的实用性。