[论文解读] Validation and Normalization of DCS corpus using Sanskrit Heritage tools to build a tagged Gold Corpus

Sriram Krishnan, Amba Kulkarni+1 more|arXiv (Cornell University)|May 13, 2020

Natural Language Processing Techniques参考文献 11被引用 4

一句话总结

本文提出了一种对数字梵语文本库（DCS）与梵语遗产引擎之间进行精细化对齐的过程，以创建一个标准化、形态学标注并分词的黄金语料库。通过解决词干分析、分词和词性标注中的语言学差异——尤其是复合词、派生词和不可变词——该方法实现了77%的词干映射率，其中单映射率达42%，显著提升了梵语文本处理任务的语料质量。

ABSTRACT

The Digital Corpus of Sanskrit records around 650,000 sentences along with their morphological and lexical tagging. But inconsistencies in morphological analysis, and in providing crucial information like the segmented word, urges the need for standardization and validation of this corpus. Automating the validation process requires efficient analyzers which also provide the missing information. The Sanskrit Heritage Engine's Reader produces all possible segmentations with morphological and lexical analyses. Aligning these systems would help us in recording the linguistic differences, which can be used to update these systems to produce standardized results and will also provide a Gold corpus tagged with complete morphological and lexical information along with the segmented words. Krishna et al. (2017) aligned 115,000 sentences, considering some of the linguistic differences. As both these systems have evolved significantly, the alignment is done again considering all the remaining linguistic differences between these systems. This paper describes the modified alignment process in detail and records the additional linguistic differences observed. Reference: Amrith Krishna, Pavankumar Satuluri, and Pawan Goyal. 2017. A dataset for Sanskrit word segmentation. In Proceedings of the Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature, page 105-114. Association for Computational Linguistics, August.

研究动机与目标

• 解决数字梵语文本库（DCS）中形态学分析与词分词不一致的问题，以支持可靠的自然语言处理应用。
• 通过将DCS语料库与梵语遗产引擎更详尽的语言学输出对齐，实现词干、词性与分词标注的一致化。
• 识别并解决DCS标注体系与遗产引擎分析之间的语言学差异，特别是针对复合词、派生词和不可变词。
• 生成一个高质量、带标注的黄金语料库，包含完整的形态学与词汇信息，适用于训练和评估梵语文本处理工具。
• 通过解决两套系统间分析差异，减少词干映射中的模糊性与多重映射。

提出的方法

• 使用梵语遗产引擎的Reader，基于有限状态技术与有效Eilenberg机器，生成所有可能的分词与形态学分析。
• 系统性地对齐DCS标注与遗产引擎输出，重点关注词干、词性与形态标签。
• 对语言差异进行分类与标准化，如复合词分析、次级派生词（taddhitāntas）与不可变词（如api）的处理，以确保标注一致性。
• 优先考虑语言合理性与统计频率进行对齐，同时将未匹配或模糊映射的词干标记为需人工复核。
• 记录并分类分析差异，如分词形式与名词形式（如īśāna）或复合词与派生词处理方式（如brahmamayī）的差异，以指导语料库与工具改进。
• 使用共享且紧凑的表示方式，表达数十亿种可能的分词方案，以高效比较与映射解决方案，并通过统计过滤优先选择高概率分析。

实验结果

研究问题

• RQ1 如何系统性地识别并解决DCS语料库中形态学与词汇标注的不一致？
• RQ2 DCS标注体系与梵语遗产引擎分析之间在语言学上的关键差异是什么，特别是针对复合词与派生词？
• RQ3 该对齐过程在多大程度上能统一两套系统中词干、词性与分词标签的标注？
• RQ4 对不可变词（如api）与形态学范式（如分词形式 vs. 名词形式）处理方式的差异，如何影响对齐准确性？
• RQ5 通过此对齐过程，语料库质量与工具互操作性可实现哪些改进？

主要发现

• 在分析的119,502个句子中，92,781个实现了完整的词干映射，表明DCS与梵语遗产引擎之间对齐的成功率为77%。
• 在成功映射的句子中，39,793个句子每个词恰好有一个匹配的词干，表明无歧义对齐率为42%。
• 12,639个句子未完全映射，至少有一个词干在遗产引擎中未找到，主要原因是缺少如prameyatvam与nirguṇatvam等词汇的词目条目。
• 52,988个句子存在多重映射，主要源于语言学上的模糊性，如复合词与非复合词分析差异（如dvija-uttamaḥ vs. dvi-ja-uttamaḥ），或同一词语的不同分析方式（如īśāna被视作分词形式或名词形式）。
• 研究识别出14,082个虽经修改但仍至少有一个词干未映射的句子，凸显了在对齐次级派生词与形态变体方面仍存在的持续挑战。
• 主要问题包括对taddhitāntas（如brahmamayī被视作复合词或派生词）处理不一致、形态学标注差异（如‘iic’与‘pfp. iic.’），以及不可变词误分类（如api在DCS中标为‘ind.’，而在遗产引擎中被标为‘conj.’或‘prep.’）。