[论文解读] Survey on Publicly Available Sinhala Natural Language Processing Tools and Research

Nisansa de Silva|arXiv (Cornell University)|Jun 5, 2019

Natural Language Processing Techniques参考文献 207被引用 23

一句话总结

本文提出了一项全面的、持续更新的公开斯里兰卡僧伽罗语自然语言处理（NLP）工具与研究的调查，旨在通过整合零散的研究工作，解决僧伽罗语在NLP领域资源匮乏的问题。该调查系统性地对现有工具按NLP层级和应用领域进行分类，提供僧伽罗文字的历史概述，并分析研究趋势与合作模式，定期在arXiv上更新以反映该领域的持续进展。

ABSTRACT

Sinhala is the native language of the Sinhalese people who make up the largest ethnic group of Sri Lanka. The language belongs to the globe-spanning language tree, Indo-European. However, due to poverty in both linguistic and economic capital, Sinhala, in the perspective of Natural Language Processing tools and research, remains a resource-poor language which has neither the economic drive its cousin English has nor the sheer push of the law of numbers a language such as Chinese has. A number of research groups from Sri Lanka have noticed this dearth and the resultant dire need for proper tools and research for Sinhala natural language processing. However, due to various reasons, these attempts seem to lack coordination and awareness of each other. The objective of this paper is to fill that gap of a comprehensive literature survey of the publicly available Sinhala natural language tools and research so that the researchers working in this field can better utilize contributions of their peers. As such, we shall be uploading this paper to arXiv and perpetually update it periodically to reflect the advances made in the field.

研究动机与目标

• 解决斯里兰卡僧伽罗语NLP研究群体之间缺乏协调与可见性的问题。
• 提供一个集中化、最新且定期更新的公开僧伽罗语NLP工具与研究调查。
• 映射现有NLP工具在语言处理层级（语音到语用）和应用领域（信息检索、信息抽取、自然语言理解）中的分布情况。
• 分析僧伽罗语NLP研究中的引用模式与机构合作趋势。
• 作为arXiv上的持续更新参考文献，为未来僧伽罗语NLP研究与工具开发提供指导。

提出的方法

• 对公开可用的僧伽罗语NLP工具与研究出版物进行系统性文献回顾。
• 基于NLP层级（语音、形态、词汇、句法、语义、话语、语用）和应用领域（信息检索、信息抽取、自然语言理解）对工具与研究进行分类。
• 利用Nandasara和Mikami提供的历史铭文与文字演变数据，追踪僧伽罗文字的发展历程。
• 基于出版物元数据分析合作者网络与引用网络，受限于PDF可获取性与文本提取准确性。
• 应用概率引用建模方法，评估机构合作与自我引用趋势。
• 在arXiv上托管并定期更新该调查，以确保其持续相关性与可及性。

实验结果

研究问题

• RQ1 当前有哪些公开可用的僧伽罗语NLP工具？它们在语言处理层级上如何分布？
• RQ2 引用模式如何反映僧伽罗语NLP研究中机构之间的合作与知识流动？
• RQ3 僧伽罗语NLP工具开发中的主要缺口是什么？这些缺口与该语言作为资源匮乏语言的地位有何关联？
• RQ4 僧伽罗文字在历史上如何演变？这对NLP工具设计有何影响？
• RQ5 僧伽罗语NLP研究中的领先机构在多大程度上引用彼此，而非外部来源，特别是国际机构？

主要发现

• 科伦坡大学计算机科学系（UCSC）是僧伽罗语NLP领域最活跃的机构，其自我引用率高达0.7543。
• 莫鲁图瓦大学计算机科学与工程系表现出更多协作性引用行为，引用UCSC的概率为0.3513，引用其他机构的概率为0.1236。
• 机构引用网络显示跨机构合作有限，部分机构如约翰霍普金斯大学和爱丁堡大学主要引用谷歌，而非斯里兰卡的研究。
• 莫鲁图瓦大学信息技术学院引用UCSC的频率更高（0.2339），高于其自身系所（0.0968），表明同一所大学内部也存在跨机构偏好。
• 利用来自铭文（公元前300年–公元1000年）和早期印刷文献（1737年、1876年）的历史文字数据，追踪文字演变，支持历史文本处理的NLP工具设计。
• 该调查托管于arXiv，旨在作为持续更新的文档，通过定期更新反映僧伽罗语NLP的新进展。