[论文解读] Universal Dependencies Parsing for Colloquial Singaporean English

Hongmin Wang, Yue Zhang+3 more|arXiv (Cornell University)|May 18, 2017

Topic Modeling参考文献 19被引用 3

一句话总结

本论文首次构建了新加坡式英语（Singlish）的Universal Dependencies语料库，并提出一种神经堆叠方法，通过从英语迁移句法知识来提升这一低资源、基于英语的克里奥尔语的依存句法分析性能。通过神经堆叠整合英语句法知识，该方法实现了25.01%的相对误差降低，使依存句法分析器的无标签依存得分（UAS）达到84.47%，显著优于基线模型。

ABSTRACT

Singlish can be interesting to the ACL community both linguistically as a major creole based on English, and computationally for information extraction and sentiment analysis of regional social media. We investigate dependency parsing of Singlish by constructing a dependency treebank under the Universal Dependencies scheme, and then training a neural network model by integrating English syntactic knowledge into a state-of-the-art parser trained on the Singlish treebank. Results show that English knowledge can lead to 25% relative error reduction, resulting in a parser of 84.47% accuracies. To the best of our knowledge, we are the first to use neural stacking to improve cross-lingual dependency parsing on low-resource languages. We make both our annotation and parser available for further research.

研究动机与目标

• 为解决新加坡式英语（一种与标准英语存在显著句法和词汇差异的英语基克里奥尔语）缺乏句法NLP工具的问题。
• 在Universal Dependencies框架下构建一个高质量、语言学一致的Singlish依存句法语料库。
• 通过从大规模英语语料库迁移句法知识，提升Singlish的依存句法分析准确率。
• 评估神经堆叠在低资源语言句法分析中知识迁移的有效性。
• 公开发布标注语料库、训练好的模型及源代码，以供公众复用和进一步研究。

提出的方法

• 构建了包含1,200个句子的Singlish依存句法语料库，采用Universal Dependencies规范进行标注，以实现句法表示的标准化。
• 使用基于双仿射注意力的神经网络在Singlish语料库上训练基础依存句法分析器，并采用Singlish特有的词嵌入（ICE-SIN）。
• 应用神经堆叠技术，将预训练的Universal Dependencies英语句法分析器的句法知识整合到Singlish句法分析器架构中。
• 通过结合英语GloVe和Giga100M嵌入与Singlish的ICE-SIN嵌入，增强特征学习，提升词义对齐效果。
• 使用交叉熵损失和反向传播联合优化堆叠句法分析模型，同时利用单语种Singlish数据和跨语言句法先验知识。
• 采用五折交叉验证，以确保神经堆叠模型在不同数据划分下的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 神经堆叠能否有效从英语迁移句法知识，以提升低资源、非标准变体（如Singlish）的依存句法分析性能？
• RQ2 通过神经堆叠整合英语句法知识，与在Singlish数据上直接微调或仅使用预训练嵌入相比，效果如何？
• RQ3 语言特异性嵌入（ICE-SIN）与通用英语嵌入（GloVe、Giga100M）在提升Singlish句法分析性能中的贡献分别是什么？
• RQ4 在哪些句法结构中，英语知识迁移能带来最显著的句法分析准确率提升？
• RQ5 Singlish与英语之间的语言差异在多大程度上影响了跨语言迁移在依存句法分析中的有效性？

主要发现

• 神经堆叠模型的UAS达到84.47%，相比仅在Singlish数据上训练的基线模型，相对误差降低了25.01%。
• 使用Singlish特异性ICE-SIN词嵌入带来了13.78%的相对误差降低，优于英语GloVe6B和Giga100M嵌入。
• 神经堆叠方法优于同时使用英语和Singlish语料库进行联合训练的设置，表明其具有更优的知识整合能力。
• 错误分析显示，性能提升最大的是Singlish特有的语法结构，如话题突出结构和省略结构，而名词短语省略情况下的改进则微乎其微。
• 五折交叉验证结果表明，各折平均相对误差降低达23.61%，验证了该方法的稳健性。
• 本研究证明，即使在词汇和句法差异显著的情况下，通过神经堆叠实现的句法知识迁移在低资源语言句法分析中依然有效。