[论文解读] Style is NOT a single variable: Case Studies for Cross-Style Language Understanding

Dongyeop Kang, Eduard Hovy|arXiv (Cornell University)|Nov 9, 2019

Natural Language Processing Techniques参考文献 55被引用 4

一句话总结

本文提出了xSLUE，一个基准语料库，整合了四个理论类别——隐喻性、情感性、个人性和人际性——中的15种风格，用于跨风格语言理解。实验表明，联合训练分类器可提升性能，揭示了显著的风格相互依赖关系（例如无礼与冒犯性之间的关联），并发现矛盾风格组合（如正面情感与无礼）会导致文本生成的风格不恰当。

ABSTRACT

Every natural text is written in some style. Style is formed by a complex combination of different stylistic factors, including formality markers, emotions, metaphors, etc. One cannot form a complete understanding of a text without considering these factors. The factors combine and co-vary in complex ways to form styles. Studying the nature of the co-varying combinations sheds light on stylistic language in general, sometimes called cross-style language understanding. This paper provides the benchmark corpus (xSLUE) that combines existing datasets and collects a new one for sentence-level cross-style language understanding and evaluation. The benchmark contains text in 15 different styles under the proposed four theoretical groupings: figurative, personal, affective, and interpersonal groups. For valid evaluation, we collect an additional diagnostic set by annotating all 15 styles on the same text. Using xSLUE, we propose three interesting cross-style applications in classification, correlation, and generation. First, our proposed cross-style classifier trained with multiple styles together helps improve overall classification performance against individually-trained style classifiers. Second, our study shows that some styles are highly dependent on each other in human-written text. Finally, we find that combinations of some contradictive styles likely generate stylistically less appropriate text. We believe our benchmark and case studies help explore interesting future directions for cross-style research. The preprocessed datasets and code are publicly available.

研究动机与目标

• 开发一个全面的跨风格语言理解基准，以捕捉书面文本中多种风格因素的共变关系。
• 通过实现大规模的多风格分析，解决先前研究仅孤立或在狭窄维度上研究风格依赖关系的局限性。
• 利用统一的多风格评估框架，评估联合风格建模对分类、相关性及生成任务的影响。
• 探究人类书写的文本中的风格相互依赖关系是否可迁移至模型生成的文本中，以及矛盾风格组合是否降低生成质量。
• 提供公开可获取的数据集和代码，以支持未来在跨风格自然语言处理应用方面的研究。

提出的方法

• 从现有数据集中聚合15种不同的风格，并引入一种新风格，将其组织为四个理论类别：隐喻性、情感性、个人性和人际性。
• 通过在相同句子集合上对全部15种风格进行标注，构建了一个诊断性跨风格标注集，以实现对多风格变化的有效评估。
• 提出一种联合跨风格分类器，同时在多种风格上进行训练，其性能优于单独训练的分类器。
• 利用人工标注数据进行风格相关性分析，识别书面文本中风格之间存在的统计显著性相互依赖关系。
• 构建了一种条件风格化文本生成器，通过使用风格概率的乘积进行生成：$\mathrm{P}(x|s_1..s_k) \propto \mathrm{P}(x) \cdot \mathrm{P}(s_1|x)\cdots\mathrm{P}(s_k|x)$。
• 通过李克特量表评分和风格矩阵的相关性得分，对生成文本进行人工评估，以判断其风格恰当性与一致性。

实验结果

研究问题

• RQ1 与单独训练各风格相比，联合训练多种风格在分类性能上表现如何？
• RQ2 人类书写的文本中，不同风格之间存在哪些统计显著的相互依赖关系？
• RQ3 矛盾风格组合（如正面情感与无礼）在多大程度上会降低生成文本的风格恰当性？
• RQ4 风格分类器的性能与风格控制的文本生成质量之间有何关联？
• RQ5 人类书写文本中观察到的相关性是否可在模型生成的文本中复现？这些相关性是否反映了自然的风格约束？

主要发现

• 联合训练的跨风格分类器性能优于单独训练的分类器，证明了建模风格共变性的优势。
• 在人类书写的文本中发现了显著的风格相互依赖关系，例如无礼与冒犯性之间存在强相关性（p < 0.01）。
• 人工评估显示，矛盾风格组合（如正面情感与无礼）导致风格恰当性降低（平均分2.45，而非矛盾组合为3.11）。
• 生成文本中的风格恰当性评分与人类书写文本中观察到的相关性得分高度一致，表明模型学习到了自然的风格约束。
• 随着分类器训练进度的提升（以完成率衡量），生成文本的风格恰当性与一致性均得到改善，证实了分类质量与生成质量之间存在强关联。
• 使用负面标签（如无礼、冒犯性）生成的文本风格恰当性低于正面或字面标签，表明生成某些风格组合存在固有挑战。