[论文解读] Rethinking Text Attribute Transfer: A Lexical Analysis

Yao Fu, Hao Zhou+2 more|arXiv (Cornell University)|Sep 26, 2019

Topic Modeling参考文献 28被引用 6

一句话总结

本文提出Pivot Analysis，一种词汇分析框架，用于识别和分析‘枢纽词’——即对句子属性（如情感或风格）具有高度影响力的关键词。作者发现，当前最先进（SOTA）的文本属性迁移模型通常仅通过替换这些枢纽词来实现变化，而句子语法结构基本保持不变，揭示了当前模型在理解高层次语言组合性方面存在关键局限。

ABSTRACT

Text attribute transfer is modifying certain linguistic attributes (e.g. sentiment, style, authorship, etc.) of a sentence and transforming them from one type to another. In this paper, we aim to analyze and interpret what is changed during the transfer process. We start from the observation that in many existing models and datasets, certain words within a sentence play important roles in determining the sentence attribute class. These words are referred to as extit{the Pivot Words}. Based on these pivot words, we propose a lexical analysis framework, extit{the Pivot Analysis}, to quantitatively analyze the effects of these words in text attribute classification and transfer. We apply this framework to existing datasets and models and show that: (1) the pivot words are strong features for the classification of sentence attributes; (2) to change the attribute of a sentence, many datasets only requires to change certain pivot words; (3) consequently, many transfer models only perform the lexical-level modification, while leaving higher-level sentence structures unchanged. Our work provides an in-depth understanding of linguistic attribute transfer and further identifies the future requirements and challenges of this task\footnote{Our code can be found at https://github.com/FranxYao/pivot_analysis}.

研究动机与目标

• 探究在文本属性迁移过程中，哪些语言特征对决定句子属性最具影响力。
• 理解迁移模型是否仅修改词汇，还是也重构句子语法结构。
• 开发一种方法，以定量方式识别和分析多样化文本属性迁移数据集中的枢纽词。
• 评估最先进模型在迁移过程中依赖词汇层面修改还是句法重组的程度。
• 揭示当前模型在处理超越词汇层面变化的高层次语言组合性方面的能力局限。

提出的方法

• 提出一种名为Pivot Analysis的词汇分析框架，用于识别对句子属性分类具有强烈影响的词汇。
• 基于统计共现分析和类别特定词频分析，开发一种枢纽词发现算法。
• 设计一种枢纽分类器，以量化识别出的词汇对属性分类的预测能力。
• 引入精确率-召回率直方图，可视化不同数据集中枢纽词的分布结构。
• 将该框架应用于分析两种SOTA模型（可控生成模型CG和交叉对齐模型CA）的迁移输出。
• 使用掩码Levenshtein编辑距离，比较迁移前后句子主干，以度量句法保留程度。

实验结果

研究问题

• RQ1 哪些词汇充当枢纽词？它们在不同数据集中如何影响句子属性分类？
• RQ2 迁移模型在多大程度上依赖于仅修改枢纽词，而非改变句子语法结构？
• RQ3 枢纽词在不同文本属性迁移数据集中的分布有何差异？
• RQ4 枢纽效应强度与数据集中属性迁移难易程度之间存在何种关系？
• RQ5 最先进模型在属性迁移过程中在多大程度上保留了句子结构？

主要发现

• 在许多数据集中，枢纽词是句子属性的强预测因子，关键术语如情感迁移中的‘rude’和‘good’的精确率显著高于基线（例如>0.5）。
• 对于CG模型，在Yelp数据集上74%的迁移案例和Amazon数据集上74%的迁移案例在掩码枢纽词后句子主干未发生变化，表明句法结构得到保留。
• 对于CA模型，37%的迁移案例在掩码后句子主干保持不变，表明在相当大比例的案例中句法结构未被改变。
• 在某些数据集中，枢纽效应如此之强，以至于仅修改少数枢纽词即可实现属性迁移，表明决策边界位于词汇层面。
• 尽管采用了复杂的建模方法，CG和CA等SOTA模型仍主要执行词汇层面的修改，句法重构极少。
• 本研究发现，无法识别出枢纽词的案例需要更深层次的句法与语义理解，凸显了未来模型面临的关键挑战。