[论文解读] The word entropy of natural languages

Christian Bentz, Dimitrios Alikaniotis|arXiv (Cornell University)|Jun 22, 2016

Natural Language Processing Techniques参考文献 36被引用 15

一句话总结

本文提出一种方法，利用平行语料库估算21种语言的词熵收敛点，从而实现对1000多种语言的可靠词熵估计。研究发现，约70,000个词符的文本规模即可实现稳定的熵估计，并证实了块熵与源熵之间存在强相关性，可通过线性变换实现高效熵预测，从而提升多语言机器翻译评估与跨语言语义相似度的归一化。

ABSTRACT

The average uncertainty associated with words is an information-theoretic concept at the heart of quantitative and computational linguistics. The entropy has been established as a measure of this average uncertainty - also called average information content. We here use parallel texts of 21 languages to establish the number of tokens at which word entropies converge to stable values. These convergence points are then used to select texts from a massively parallel corpus, and to estimate word entropies across more than 1000 languages. Our results help to establish quantitative language comparisons, to understand the performance of multilingual translation systems, and to normalize semantic similarity measures.

研究动机与目标

• 确定在多种语言中词熵估计达到稳定状态所需的最小文本规模。
• 利用大规模平行语料库，实现对1000多种语言的可靠词熵估计。
• 建立块熵与源熵之间强经验关联，以实现高效熵估计。
• 支持分布语义学中跨语言语义相似度度量的归一化。
• 基于源语言与目标语言之间的熵比，预测翻译系统性能。

提出的方法

• 使用块熵估计与源熵估计方法，在最多3000万词符的21种平行语言中计算词熵。
• 应用线性模型，从一元块熵预测源熵：$\tilde{H}(T) = -1.59 + 0.82 \cdot H_1(T)$，显著降低计算成本。
• 基于21种语言样本推导的收敛阈值，从大规模平行语料库中选取文本。
• 利用经验证的收敛与预测框架，估算1360篇文本和1001种语言的词熵。
• 通过将熵比与统计机器翻译系统的BLEU分数进行相关性分析，验证该方法。
• 通过使用语言特异性熵对信息含量进行归一化，纠正分布语义学中跨语言偏差。

实验结果

研究问题

• RQ1 在多种自然语言中，实现稳定词熵估计所需的最小文本规模是多少？
• RQ2 块熵与源熵在多种语言中如何关联？能否相互预测？
• RQ3 不同语言间词熵的差异在多大程度上影响多语言机器翻译性能？
• RQ4 能否基于小样本的收敛阈值，可靠估算1000多种语言的词熵？
• RQ5 如何利用词熵对跨语言分布语义学中的语义相似度度量进行归一化？

主要发现

• 约70,000个词符的文本规模足以在21种语言中实现稳定的词熵估计，该规模下已观察到收敛。
• 块熵与源熵在多种语言间存在强线性关系，相关系数达0.98。
• 线性模型$\tilde{H}(T) = -1.59 + 0.82 \cdot H_1(T)$能从块熵预测源熵，平均误差仅为0.03比特。
• 翻译性能（以BLEU分数衡量）与源语言和目标语言之间的熵比显著相关（r = 0.58，p < 0.0001）。
• 芬兰语的词熵（8.35）高于英语（6.32），解释了英语→芬兰语翻译的BLEU分数（13）低于英语→英语翻译（21.8）的原因。
• 通过语言特异性熵对信息含量进行归一化，可减少跨语言语义相似度度量中的偏差，实现更公平的语言间比较。