[论文解读] Shallow Discourse Annotation for Chinese TED Talks

Wanqiu Long, Xinyi Cai+3 more|arXiv (Cornell University)|Mar 9, 2020

Natural Language Processing Techniques参考文献 15被引用 4

一句话总结

本论文提出了一种新颖的、公开可用的中文TED演讲语料库，采用改进的PDTB-3方案对其中的浅层话语关系进行标注，该方案针对汉语口语话语的特征进行了调整。标注工作实现了较高的标注者间一致性（kappa > 0.85），并揭示了话语关系分布更加均衡——尤其是因果（Contingency）、时间（Temporal）和比较（Comparison）关系的比例更高——与现有以新闻为主的中文语料相比具有显著差异。

ABSTRACT

Text corpora annotated with language-related properties are an important resource for the development of Language Technology. The current work contributes a new resource for Chinese Language Technology and for Chinese-English translation, in the form of a set of TED talks (some originally given in English, some in Chinese) that have been annotated with discourse relations in the style of the Penn Discourse TreeBank, adapted to properties of Chinese text that are not present in English. The resource is currently unique in annotating discourse-level properties of planned spoken monologues rather than of written text. An inter-annotator agreement study demonstrates that the annotation scheme is able to achieve highly reliable results.

研究动机与目标

• 开发高质量、公开可访问的中文口语独白话语标注语料库，特别聚焦于TED演讲。
• 针对汉语口语话语的独特特征（如隐含关系和连接词使用）对PDTB-3话语标注方案进行适配。
• 通过标注者间一致性研究评估标注方案的可靠性。
• 比较口语汉语与书面汉语语料库（特别是新闻报道）中的话语关系分布。
• 为训练和评估中文话语感知型自然语言处理模型提供资源，尤其适用于口语语言应用。

提出的方法

• 将PDTB-3话语标注框架适配至汉语口语话语，通过移除AltLexC并增加Progression来调整语义层级。
• 为汉语口语话语中的话语关系、论元范围及连接词识别制定了详细的标注指南与标准。
• 对标注者实施严格培训与质量控制，包括迭代审查与共识建立流程。
• 收集并标注了32篇TED演讲（中文原文或中文译文）中的3212个话语关系，重点关注句内与跨句关系。
• 采用Fleiss’ Kappa检验进行标注者间一致性研究，验证可靠性，多数指标的kappa值超过0.85。
• 对新语料库与CUHK-DTBC（一个以新闻为核心的中文语料库）之间的话语关系分布进行了对比分析。

实验结果

研究问题

• RQ1 如何有效将PDTB-3话语标注方案适配至汉语口语话语，特别是针对英语中不存在的特征？
• RQ2 在将适配后的方案应用于中文TED演讲时，标注者间一致性的水平如何，从而体现其可靠性？
• RQ3 中文口语TED演讲中的话语关系分布与书面汉语语料库（如CUHK-DTBC）有何不同？
• RQ4 显性与隐性话语关系在口语汉语中共现的程度如何？与书面汉语相比有何差异？
• RQ5 中文口语独白中最常见的话语语义类型是什么？这些类型如何反映口语话语的修辞结构？

主要发现

• 适配后的标注方案实现了高标注者间一致性，Fleiss’ Kappa值在多数标注指标上超过0.85，证实了其可靠性。
• 该语料库共包含3212个标注的话语关系，显性与隐性关系的比例大致相等，表明口语汉语中显性连接词的使用频率高于书面文本。
• 该语料库中话语关系类型的分布比新闻聚焦语料库更为均衡：因果（Contingency，27.6%）、时间（Temporal，19.2%）和比较（Comparison，15.7%）关系更为频繁，而扩展（Expansion，37.5%）的比例则显著低于CUHK-DTBC中52%的占比。
• 最常见的二级话语语义类型为因果（Cause，20%）、并列（Conjunction，13%）和让步（Concession，13%），前10种语义类型占所有标注的86%。
• 该语料库揭示了汉语口语话语中独特的语篇模式，包括因果与比较关系的更高频率，表明其与书面文本体裁存在差异。
• 研究结果表明，与书面汉语新闻报道相比，口语汉语TED演讲展现出更丰富多样的语篇结构，且扩展关系不占主导地位，支持了针对语体特异性语料库在自然语言处理中的价值。