[论文解读] xSLUE: A Benchmark and Analysis Platform for Cross-Style Language Understanding and Evaluation

Dongyeop Kang, Eduard Hovy|arXiv (Cornell University)|Nov 9, 2019

Hate Speech and Cyberbullying Detection参考文献 11被引用 14

一句话总结

本文提出了xSLUE，一个用于跨风格语言理解的基准语料库和在线平台，包含15种风格和23项分类任务。研究揭示了强烈的风格相互依赖关系，例如无礼与冒犯之间的关联，并突出了领域特定的风格多样性，为共享表征学习和未来的跨风格建模提供了工具。

ABSTRACT

Every natural text is written in some style. The style is formed by a complex combination of different stylistic factors, including formality markers, emotions, metaphors, etc. Some factors implicitly reflect the author's personality, while others are explicitly controlled by the author's choices in order to achieve some personal or social goal. One cannot form a complete understanding of a text and its author without considering these factors. The factors combine and co-vary in complex ways to form styles. Studying the nature of the covarying combinations sheds light on stylistic language in general, sometimes called cross-style language understanding. This paper provides a benchmark corpus (xSLUE) with an online platform (this http URL) for cross-style language understanding and evaluation. The benchmark contains text in 15 different styles and 23 classification tasks. For each task, we provide the fine-tuned classifier for further analysis. Our analysis shows that some styles are highly dependent on each other (e.g., impoliteness and offense), and some domains (e.g., tweets, political debates) are stylistically more diverse than others (e.g., academic manuscripts). We discuss the technical challenges of cross-style understanding and potential directions for future research: cross-style modeling which shares the internal representation for low-resource or low-performance styles and other applications such as cross-style generation.

研究动机与目标

• 为解决跨风格语言理解中多种风格因素以复杂方式共变而缺乏全面基准的问题。
• 实现对包括正式程度、情感和隐喻表达在内的多样化风格的系统性模型评估。
• 探究诸如无礼和冒犯等风格因素如何共变并影响文本分类。
• 提供微调后的分类器和在线平台，以支持可复现的分析与模型评估。
• 探索跨风格建模中的技术挑战，特别是针对低资源或低性能风格。

提出的方法

• xSLUE基准收集并标注了15种不同风格的文本，例如推文、政治辩论和学术论文。
• 针对每种风格，定义了23项分类任务，涵盖正式程度、情感和冒犯性等各类风格属性。
• 该平台为每项任务提供预训练和微调后的分类器，以支持标准化评估与比较。
• 采用统计分析与相关性分析，揭示风格因素之间的依赖关系，例如无礼与冒犯语言的共现。
• 通过在不同风格间共享内部表征，该框架支持跨风格建模，以提升低资源风格的性能。
• 开发了在线平台，用于托管语料库、模型和评估工具，以支持社区使用和可扩展性。

实验结果

研究问题

• RQ1 在不同文本类型中，正式程度、情感和隐喻等不同风格因素如何共变？
• RQ2 某些风格（如推文、政治辩论）相较于其他风格（如学术论文）是否表现出更高的风格多样性？
• RQ3 风格属性之间的关键依赖关系是什么，例如无礼与冒犯性之间的关系？
• RQ4 共享内部表征在多大程度上能提升跨风格语言理解的性能，特别是在低资源风格中？
• RQ5 在建模跨风格语言理解时会遇到哪些技术挑战，以及如何应对？

主要发现

• 无礼与冒犯性表现出强烈的共变关系，表明在某些文本类型中二者具有高度的相互依赖性。
• 推文和政治辩论等领域表现出显著更高的风格多样性，相较于学术论文等受约束领域。
• 该基准实现了对15种风格和23项分类任务的一致评估，并为每项任务提供了微调后的模型。
• 通过共享内部表征的跨风格建模在提升低资源或低性能风格的性能方面展现出潜力。
• 该平台促进了可复现的研究与分析，支持未来在跨风格生成和表征学习方面的工作。