[论文解读] TextDescriptives: A Python package for calculating a large variety of metrics from text

Lasse Hansen, Ludvig Renbo Olsen+1 more|arXiv (Cornell University)|Jan 5, 2023

Computational Physics and Python Applications被引用 5

一句话总结

TextDescriptives 是一个基于 spaCy 的 Python 包，提供了一个模块化、经过测试的框架，用于提取全面的文档级文本度量，包括可读性、连贯性、依存距离、词性比例和文本质量评分。它通过无缝集成到现有的 NLP 工作流中，并提供统一的 API 用于将度量结果批量提取为数据框或字典，实现了可重现的、细粒度的语言学分析。

ABSTRACT

TextDescriptives is a Python package for calculating a large variety of metrics from text. It is built on top of spaCy and can be easily integrated into existing workflows. The package has already been used for analysing the linguistic stability of clinical texts, creating features for predicting neuropsychiatric conditions, and analysing linguistic goals of primary school students. This paper describes the package and its features.

研究动机与目标

• 解决 NLP 工作流中缺乏标准化、可重现且模块化的文档级文本度量提取问题。
• 将从基础统计到复杂度量（如连贯性和依存距离）的广泛语言学度量统一到一个包中，并提供详尽的文档说明。
• 通过提供经过测试和验证的度量，提高可重现性并减少文本分析中的实现错误。
• 通过提供可访问的、高保真的语言学特征，支持数字人文、精神病学和教育学等领域的研究人员。
• 通过启发式方法和基于嵌入的质量度量，实现文本数据的高效预处理和质量过滤。

提出的方法

• 该包通过专用组件扩展 spaCy 的处理流程，用于计算描述性统计、可读性、依存距离、词性比例、连贯性和文本质量度量。
• 它利用 spaCy 强大的 NLP 流水线，访问句法和语义特征，如依存树、词性标注和词嵌入。
• TextDescriptives 计算的度量包括依存距离的均值和标准差、基于词嵌入相似性的句子级连贯性，以及用于文本质量的启发式方法（例如，重复行检测、'lorem ipsum' 检测）。
• 所有度量均通过单一统一接口提取：`textdescriptives.extract_df(doc)` 或 `extract_dict(doc)` 用于批量处理。
• 该包支持单个度量的提取以及跨多个文档的联合计算，确保与现有数据科学和 NLP 工作流的兼容性。
• 其设计注重模块化和可扩展性，支持未来新增度量组件的开发。

实验结果

研究问题

• RQ1 如何设计一个模块化、可重用且可重现的文档级文本度量框架，以减少 NLP 研究中的实现错误？
• RQ2 一个统一的 Python 包在多大程度上能提高不同 NLP 应用中语言学特征提取的一致性和可靠性？
• RQ3 一个单一接口能否高效计算从基础统计到语义连贯性和文本质量的广泛度量，且在标准化的 NLP 流水线中运行？
• RQ4 spaCy 基础组件的集成如何提升真实研究场景中文本度量提取的性能和可用性？
• RQ5 像依存距离和语义连贯性这样的复杂度量在检测与心理健康或教育成果相关的语言模式中起到什么作用？

主要发现

• TextDescriptives 有效实现了并暴露了 20 多个文档级度量，包括在同类工具中不常见的但信息丰富的度量，如依存距离和语义连贯性，这些度量在其他包中尚不可用。
• 该包通过单次函数调用即可联合提取所有度量，显著简化了数据准备流程，降低了代码复杂度。
• 它通过启发式方法（如重复行比例、'lorem ipsum' 检测和前 n 个短语重复）支持高级文本质量检测，有助于过滤低质量文本。
• 与 spaCy 的集成确保了高性能，并可访问基于模型的特征（如依存解析和词性标注），从而提升了度量的准确性。
• 该包已在真实研究场景中得到应用，包括临床文本分析、神经精神疾病预测和教育语言学，证明了其实际效用。
• 与 textstat 或 spacy-readability 等现有工具不同，TextDescriptives 支持现代 spaCy 版本，并为所有度量提供了全面、经过测试且详尽文档化的 API。