[论文解读] Towards Universal Semantic Tagging

Lasha Abzianidze, Johan Bos|arXiv (Cornell University)|Sep 29, 2017

Natural Language Processing Techniques参考文献 20被引用 26

一句话总结

本文提出了通用语义标记（UST），这是一种新颖的自然语言处理任务，通过为词元分配语言无关的、语义丰富的标记来提升跨语言语义解析效果。所提出的语义标记集捕捉了超越词性（POS）标记的细粒度语义差异，例如角色、子集性、排他性及程度等，并在平行语义库（Parallel Meaning Bank）中得到验证，显著提升了形式化词汇语义的表达能力，同时实现了跨语言投影，基于在自举生成的银数据上训练的TnT标记器，在黄金测试集上达到了86.89%的基线准确率。

ABSTRACT

The paper proposes the task of universal semantic tagging---tagging word tokens with language-neutral, semantically informative tags. We argue that the task, with its independent nature, contributes to better semantic analysis for wide-coverage multilingual text. We present the initial version of the semantic tagset and show that (a) the tags provide semantically fine-grained information, and (b) they are suitable for cross-lingual semantic parsing. An application of the semantic tagging in the Parallel Meaning Bank supports both of these points as the tags contribute to formal lexical semantics and their cross-lingual projection. As a part of the application, we annotate a small corpus with the semantic tags and present new baseline result for universal semantic tagging.

研究动机与目标

• 为解决词性（POS）标记和命名实体类别在捕捉多语言语义解析中细粒度词汇语义方面的不足。
• 将词性标注和命名实体识别的语义优势统一并泛化为单一的、跨语言的标记框架。
• 开发一种轻量且表达力强的语义标记集，能够建模角色、子集性、排他性及程度等语义现象。
• 在组合式语义解析框架（如Boxer和Universal Dependencies）中实现更优的形式化词汇语义表达。
• 通过标准化的、通用的标记集，支持语义信息的跨语言投影，提升多语言自然语言处理任务的效果。

提出的方法

• 提出一种新的序列标注任务——通用语义标记（UST），其中每个词元被赋予一个反映其词汇语义的语言无关语义标记（sem-tag）。
• 设计一个语义标记集，包含如ROL（角色）、SST（子集性）、PRI（排他性）、DEG（程度）和NAM（命名实体）等类别，实现细粒度的语义消歧。
• 在平行语义库（PMB）项目中应用该标记集，以支持形式化的组合语义和跨语言词汇语义标注。
• 采用自举流水线：在神经语义标记器输出的银数据上训练TnT标记器，并在人工标注的黄金数据（2.4K句，14.6K词元）上进行评估。
• 利用该标记集通过替换依赖词形的形式化语义表示，提升语义解析效果。
• 证明语义标记任务可涵盖命名实体分类，且其语义信息比标准命名实体类别更丰富，同时在不同语言间具有泛化能力，降低对语言特定词形的依赖。

实验结果

研究问题

• RQ1 语义标记是否能为多语言语义解析提供比词性（POS）标记更丰富、更细粒度的词汇语义？
• RQ2 语义标记在形式化组合语义中，能在多大程度上支持词汇语义的跨语言投影？
• RQ3 一个通用语义标记集能否统一并泛化词性标注和命名实体识别所捕捉的语义信息？
• RQ4 使用神经标记生成的银数据进行自举训练的流水线，在训练基于TnT的语义标记器时效果如何？
• RQ5 语义标记能否在多语言设置下提升下游任务（如词性标注和依存句法分析）的性能？

主要发现

• 所提出的语义标记集成功捕捉了超越词性（POS）标记的语义差异，如角色（ROL）、子集性（SST）、排他性（PRI）和程度（DEG）。
• 该标记集在组合式语义解析中实现了更准确、更一致的形式化词汇语义表达，已在PMB项目中得到验证。
• 基于自举银数据训练的TnT语义标记器在黄金测试集上达到86.89%的准确率，较基线频率法提升了5个百分点。
• 语义标记任务涵盖了命名实体分类，因为标记集中NAM类别的范围更广，语义信息更丰富，优于标准命名实体类别。
• 该方法支持语义信息的跨语言投影，使多语言语义解析在减少对词形依赖性方面更具优势。
• 与标准词性标记集相比，该标记集在语义维度上更具表达力，且对形态学的依赖更小，因此更适合多语言和组合式语义分析。