[论文解读] Traditional Readability Formulas Compared for English

Bruce W. Lee, Jason Hyung-Jong Lee|arXiv (Cornell University)|Jan 8, 2023

Text Readability and Simplification被引用 4

一句话总结

本文提出了一套针对现代美国教育文本优化的、重新校准的传统英语可读性公式——Flesch-Kincaid、Fog、SMOG、Coleman-Liau 和 Automated Readability Index，并提出了一种基于词汇语义和句法特征的新公式 NERF。基于 Common Core Appendix B 数据集，作者提升了预测准确性，并发布了一个基于 Python 的工具，适用于广泛的 NLP 应用。

ABSTRACT

Traditional English readability formulas, or equations, were largely developed in the 20th century. Nonetheless, many researchers still rely on them for various NLP applications. This phenomenon is presumably due to the convenience and straightforwardness of readability formulas. In this work, we contribute to the NLP community by 1. introducing New English Readability Formula (NERF), 2. recalibrating the coefficients of old readability formulas (Flesch-Kincaid Grade Level, Fog Index, SMOG Index, Coleman-Liau Index, and Automated Readability Index), 3. evaluating the readability formulas, for use in text simplification studies and medical texts, and 4. developing a Python-based program for the wide application to various NLP projects.

研究动机与目标

• 解决尽管机器学习模型取得进展，传统可读性公式在 NLP 中仍持续使用过时版本的问题。
• 通过使用与美国课程标准一致的现代文本重新校准传统可读性公式的系数，提升其预测准确性。
• 开发一种基于词汇语义和句法特征的新型通用可读性公式（NERF），以实现更广泛的语言覆盖。
• 在代表不同阅读水平和受众的多样化数据集上，评估六种可读性公式（五种重新校准的公式 + NERF）的性能。
• 提供一个快速、开源的 Python 工具，便于将可读性评估集成到各种 NLP 工作流中。

提出的方法

• 使用 Common Core Appendix B（CCB）语料库作为主要训练数据集，对五种传统可读性公式进行重新校准。
• 通过跨数据集相关性分析，从词汇语义（例如，通过 SubtlexUS 频率衡量的词汇熟悉度）和句法（例如，词性比例、短语频率）分支中识别关键语言特征。
• 提出 NERF 作为结合多个数据集中表现最佳特征的新公式，旨在实现最佳的泛化能力和准确性。
• 应用线性回归模型，利用 CCB 的年级水平标注作为真实标签，推导出每种公式的新型系数。
• 在五个基准数据集上评估公式性能：CCB、WeeBit、Cambridge English、Korean ELT Curriculum 和 OneStopEnglish。
• 开发了一个基于 Python 的软件包（<Anonymous>），用于在 NLP 应用中实现高效、可扩展的可读性评估。

实验结果

研究问题

• RQ1 如何对传统可读性公式进行重新校准，以提升其在现代美国教育文本上的预测准确性？
• RQ2 在多种文本类型中，词汇语义特征与句法特征中，哪一类对可读性预测的提升贡献最大？
• RQ3 新提出的 NERF 公式在标准数据集上的表现与现有传统公式相比如何？
• RQ4 重新校准的公式在不同阅读水平和教育课程之间具有多大程度的泛化能力？
• RQ5 一个统一的、开源的 Python 工具能否有效支持可读性评估在多样化 NLP 工作流中的集成？

主要发现

• 与原始系数相比，重新校准后的 Flesch-Kincaid、Fog、SMOG、Coleman-Liau 和 Automated Readability Index 公式在 Common Core Appendix B 数据集上的预测准确性得到提升。
• NERF 基于如词汇熟悉度（SubtlexUS 频率）和句法比例（如副词与名词比例）等特征，在多个数据集上表现出卓越的泛化能力。
• 特征 'at_SbFrL_C'（每词的 SubtlexUS FREQlow）与 CCB 年级水平的相关性最高（r = 0.176），表明其在预测词汇熟悉度方面具有强大能力。
• 句法特征如 'ra_AvNoT_C'（副词与名词词性比例）和 'LoCoDPU_S'（局部连贯距离）在多个数据集中表现出一致的性能。
• 基于 Python 的工具 <Anonymous> 实现了高效、可扩展的可读性评估，计算开销极小，支持无缝集成到 NLP 工作流中。
• 在跨数据集评估中，NERF 在所有传统公式中表现最佳，尤其在低年级和中年级教育文本中表现突出，表明其具备更广泛的语言覆盖能力和更强的鲁棒性。