[论文解读] SinSpell: A Comprehensive Spelling Checker for Sinhala

Upuli Liyanapathirana, Kaumini Gunasinghe+1 more|arXiv (Cornell University)|Jul 7, 2021

Natural Language Processing Techniques参考文献 10被引用 9

一句话总结

SinSpell 是一款针对斯里兰卡 1600 多万母语者使用的僧伽罗语的基于规则的开源拼写检查工具，旨在解决该语言缺乏全面拼写工具的问题。该工具基于 Hunspell 构建，采用词素分类的词表、对僧伽罗语文本语料库的错误分析，以及针对常见错误（如元音长度错误和发音相似字母误用）的针对性纠错模块，通过系统化的规则制定和异常处理实现高准确率。

ABSTRACT

We have built SinSpell, a comprehensive spelling checker for the Sinhala language which is spoken by over 16 million people, mainly in Sri Lanka. However, until recently, Sinhala had no spelling checker with acceptable coverage. Sinspell is still the only open source Sinhala spelling checker. SinSpell identifies possible spelling errors and suggests corrections. It also contains a module which auto-corrects evident errors. To maintain accuracy, SinSpell was designed as a rule-based system based on Hunspell. A set of words was compiled from several sources and verified. These were divided into morphological classes, and the valid roots, suffixes and prefixes for each class were identified, together with lists of irregular words and exceptions. The errors in a corpus of Sinhala documents were analysed and commonly misspelled words and types of common errors were identified. We found that the most common errors were in vowel length and similar sounding letters. Errors due to incorrect typing and encoding were also found. This analysis was used to develop the suggestion generator and auto-corrector.

研究动机与目标

• 为僧伽罗语（一种在斯里兰卡有超过 1600 万使用者但现有数字支持有限的语言）解决缺乏全面拼写工具的问题。
• 开发一款高覆盖率、开源的拼写检查工具，支持僧伽罗语文本中的错误检测与自动纠正。
• 识别并系统化分类僧伽罗语中常见的拼写错误，特别是与元音长度和发音相似字符相关的错误。
• 基于僧伽罗语词素分析（包括词根、前缀和后缀）构建基于规则的系统，以确保准确性和可扩展性。
• 以 Hunspell 为基础，构建可维护且可扩展的拼写检查工具，配备经验证的词表和对不规则形式的异常处理机制。

提出的方法

• 系统基于 Hunspell 框架构建，利用其强大的词典和基于规则的架构进行词素分析。
• 从多个来源汇编了全面的词表，并经人工验证其正确性和语言学有效性。
• 将词语按词素类别分类，并系统识别每种类别的有效词根、前缀和后缀。
• 明确列出不规则词和异常形式，以处理不符合标准词素模式的非规范形式。
• 对僧伽罗语文本语料库进行错误分析，以识别频繁的拼写错误和错误类型，特别是元音长度错误和语音混淆。
• 基于错误模式开发建议生成器和自动纠正模块，重点关注常见拼写错误和编码相关错误。

实验结果

研究问题

• RQ1 僧伽罗语中最常见的拼写错误类型是什么，特别是与元音长度和发音相似字符相关的错误？
• RQ2 如何为僧伽罗语这类低资源语言（现有工具极少）系统化地设计和实现基于规则的拼写检查工具？
• RQ3 对僧伽罗语词素进行分类在多大程度上能提升拼写检查工具的准确率和覆盖范围？
• RQ4 基于语料库的错误分析在指导设计针对常见拼写错误的精准纠正规则方面有多有效？
• RQ5 在不依赖大规模神经网络模型的前提下，能否实现一款高准确率且易用的开源、基于规则的僧伽罗语拼写检查工具？

主要发现

• 僧伽罗语中最常见的拼写错误涉及元音长度符号的误用，特别是在动词和名词的屈折变化中。
• 发音相似的字符（如 'ඉ' 和 'ඊ'）因视觉和听觉上的相似性而经常被混淆。
• 拼写错误和编码相关错误（尤其是在旧版文本中）是导致拼写不一致的重要因素。
• 基于词素分类和经验证词表的基于规则方法在错误检测和纠正方面实现了高精度。
• 该系统成功识别并处理了不规则词和异常形式，提升了在各类文本中的鲁棒性。
• SinSpell 仍是目前唯一开源且全面的僧伽罗语拼写检查工具，填补了该语言数字语言支持中的关键空白。