[论文解读] MultiAzterTest: a Multilingual Analyzer on Multiple Levels of Language for Readability Assessment

Kepa Bengoetxea, Itziar González-Dios|arXiv (Cornell University)|Sep 10, 2021

Text Readability and Simplification参考文献 45被引用 7

一句话总结

MultiAzterTest 是一款开源的多语言 NLP 工具，可针对英语、西班牙语和巴斯克语在 125–163 项语言学与风格特征上分析文本的可读性。该工具使用 SMO 分类器在英语三档分类中达到 90.09% 的准确率，在巴斯克语两档分类中达到 95.50%，优于现有的 Coh-Metrix 和 ErreXail 等工具，同时在共享特征下展现出强大的跨语言迁移能力。

ABSTRACT

Readability assessment is the task of determining how difficult or easy a text is or which level/grade it has. Traditionally, language dependent readability formula have been used, but these formulae take few text characteristics into account. However, Natural Language Processing (NLP) tools that assess the complexity of texts are able to measure more different features and can be adapted to different languages. In this paper, we present the MultiAzterTest tool: (i) an open source NLP tool which analyzes texts on over 125 measures of cohesion,language, and readability for English, Spanish and Basque, but whose architecture is designed to easily adapt other languages; (ii) readability assessment classifiers that improve the performance of Coh-Metrix in English, Coh-Metrix-Esp in Spanish and ErreXail in Basque; iii) a web tool. MultiAzterTest obtains 90.09 % in accuracy when classifying into three reading levels (elementary, intermediate, and advanced) in English and 95.50 % in Basque and 90 % in Spanish when classifying into two reading levels (simple and complex) using a SMO classifier. Using cross-lingual features, MultiAzterTest also obtains competitive results above all in a complex vs simple distinction.

研究动机与目标

• 通过利用先进的 NLP 技术，克服传统、语言特定的可读性公式的局限，实现对文本复杂性的更全面分析。
• 开发一款多语言、开源的工具，能够分析英语、西班牙语和巴斯克语等类型学上差异显著的语言的语言学与语篇特征。
• 在英语、西班牙语和巴斯克语的单语环境下，基于通用语言资源的统一框架，改进当前最先进的可读性分类器。
• 探索利用跨语言共享特征进行可读性评估的可行性与性能，特别是在低资源语言环境下的应用。
• 提供公开可用的网络服务和开源代码库，以支持文本文体计量学与可读性研究的可复现性与进一步研究。

提出的方法

• 设计一个模块化的 NLP 流水线，从多种语言中提取 11 类语言学特征——描述性特征、句法复杂性、词频、词汇知识、词信息、词汇多样性、语篇连接词、指代连贯性、语义信息、语义重叠和可读性。
• 利用通用语言资源，如 Universal Dependencies 进行句法解析，使用 wordnets 进行语义分析，使用 wordfreq 进行词频分析，使用词嵌入进行语义相似度与重叠分析。
• 实现 SMO（序列最小优化）分类器，用于预测文本的可读性等级，基于从多语言流水线中提取的特征。
• 在英语、西班牙语和巴斯克语的标注语料库上训练并评估分类器，分别针对单语和跨语言设置建立独立模型。
• 应用特征选择与交叉验证，识别最具预测力的特征，并评估其在不同语言间的可移植性。
• 部署一个网络应用，以实现公众对工具分析与分类功能的访问，服务于教育与研究用途。

实验结果

研究问题

• RQ1 是否可以利用通用 NLP 资源轻松地将语言学特征适配到不同语言？
• RQ2 预处理工具和语言资源质量对可读性分类性能有何影响？
• RQ3 哪些特征对可读性最具预测力，且这些特征是否在不同语言间共享？
• RQ4 特征组在不同语言中是否保持一致的准确率，特别是在形态丰富与形态贫乏语言之间？
• RQ5 是否可以使用一组通用的跨语言特征实现具有竞争力的可读性分类，该方法的有效性如何？

主要发现

• MultiAzterTest 使用 SMO 分类器在英语三档分类（初级、中级、高级）中达到 90.09% 的准确率。
• 在巴斯克语中，该工具在两档分类（简单 vs. 复杂）中达到 95.50% 的准确率，优于当前最先进的 ErreXail 工具。
• 在西班牙语中，系统在两档可读性分类中达到 90% 的准确率，优于 Coh-Metrix-Esp 的表现。
• 描述性特征与句法特征组在所有三种语言中均为最具预测力的特征，其中词信息在巴斯克语中尤为关键。
• 语义特征与语义重叠特征的预测准确率最低，表明在当前语料库中对可读性预测的实用价值有限。
• 跨语言特征集取得了具有竞争力的结果，尤其在二元分类中表现突出，表明当单语数据稀缺时，该方法在低资源语言应用中具有潜力。