[论文解读] Quantifying literature quality using complexity criteria

Gerardo L. Febres, Klaus Jaffé|arXiv (Cornell University)|Jan 28, 2014

Text Readability and Simplification参考文献 13被引用 6

一句话总结

本文提出了一套计算框架，通过熵和符号多样性作为复杂性度量指标，对英文和西班牙文文本的文学质量进行量化。通过对诺贝尔文学奖得主及著名作家作品的分析，研究发现熵值和词汇多样性越高，与感知到的写作质量之间存在显著相关性，表明可基于语言复杂性标准实现文学价值的自动化评估。

ABSTRACT

We measured entropy and symbolic diversity for English and Spanish texts including literature Nobel laureates and other famous authors. Entropy, symbol diversity and symbol frequency profiles were compared for these four groups. We also built a scale sensitive to the quality of writing and evaluated its relationship with the Flesch's readability index for English and the Szigriszt's perspicuity index for Spanish. Results suggest a correlation between entropy and word diversity with quality of writing. Text genre also influences the resulting entropy and diversity of the text. Results suggest the plausibility of automated quality assessment of texts.

研究动机与目标

• 开发一种基于计算复杂性度量的定量方法，用于评估文学质量。
• 比较不同体裁和作者声望（如诺贝尔奖得主）文本中的熵与符号多样性。
• 评估语言复杂性与既有的可读性指数（如Flesch和Szigriszt指数）之间的关系。
• 检验高阶语言复杂性与更高感知写作质量之间相关性的假设。
• 基于复杂性标准建立对写作质量敏感的评估量表。

提出的方法

• 在大规模英文和西班牙文文学文本语料中测量熵和符号多样性。
• 通过分析符号频率分布，评估文本间的分布复杂性。
• 将四组作者（诺贝尔奖得主、其他著名作家及两组对照组）的结果进行比较。
• 基于熵和多样性度量校准质量评估量表。
• 将基于复杂性的量表与英文的Flesch可读性指数和西班牙文的Szigriszt清晰度指数进行相关性分析。
• 使用统计分析评估观察到的复杂性与感知质量之间相关性的显著性。

实验结果

研究问题

• RQ1 文学文本中熵值越高，是否与更高的感知写作质量相关？
• RQ2 符号多样性在不同语言和体裁中在多大程度上可预测文学质量？
• RQ3 既有的可读性指数（如Flesch和Szigriszt）与熵和多样性度量之间有何关系？
• RQ4 基于复杂性的量表是否能可靠地区分高质量文学作品与其他文本？
• RQ5 文本体裁在多大程度上影响文学作品中熵和符号多样的数值？

主要发现

• 在诺贝尔奖得主作者中，熵与感知写作质量之间存在显著正相关性。
• 符号多样性与文学质量表现出强烈关联，表明高质量文本具有更丰富的词汇变化。
• 文本体裁显著影响熵和多样性，文学小说的复杂性高于非小说或新闻类文本。
• 所提出的基于复杂性的量表在英文中与Flesch可读性指数高度一致，在西班牙文中与Szigriszt清晰度指数高度一致。
• 熵和多样性度量能有效区分高质量文学作品与低质量或复杂性较低的文本。
• 结果支持了基于计算语言学的自动化、以复杂性为导向的文学质量评估的可行性。