[论文解读] The placement of the head that maximizes predictability. An information theoretic approach

Ramon Ferrer‐i‐Cancho|arXiv (Cornell University)|May 28, 2017

Language and cultural evolution参考文献 65被引用 26

一句话总结

本文提出，人类语言中的词序通过信息论模型优化句法关系中核心名词的可预测性，同时与依存距离最小化原则并行建模。研究发现，将核心名词置于句尾可最大化可预测性，但与依存距离最小化存在权衡，该双重优化框架可解释六种可能词序（SVO、VSO等）的分布与演化。

ABSTRACT

The minimization of the length of syntactic dependencies is a well-established principle of word order and the basis of a mathematical theory of word order. Here we complete that theory from the perspective of information theory, adding a competing word order principle: the maximization of predictability of a target element. These two principles are in conflict: to maximize the predictability of the head, the head should appear last, which maximizes the costs with respect to dependency length minimization. The implications of such a broad theoretical framework to understand the optimality, diversity and evolution of the six possible orderings of subject, object and verb are reviewed.

研究动机与目标

• 将可预测性最大化整合进词序的数学理论，补充依存距离最小化理论。
• 解决最小化依存距离与最大化核心成分可预测性之间的冲突。
• 通过双重最优性框架解释六种可能词序（SVO、VOS、OVS等）的分布与演化稳定性。
• 为理解语言多样性与类型学模式提供基于信息论原理的理论基础。

提出的方法

• 使用信息论将词序建模为依存距离最小化与可预测性最大化之间的权衡。
• 应用香农熵量化核心成分在小句中不同位置下的可预测性。
• 在依存结构的概率模型下推导出可最大化可预测性的最优核心位置。
• 在依存距离与可预测性双重约束下比较六种可能词序（SVO、VSO、OVS等）。
• 使用形式化框架计算每种词序配置的信息论成本。
• 通过权衡可预测性增益与依存距离惩罚，评估每种词序的理论适应度。

实验结果

研究问题

• RQ1 将核心成分置于不同位置如何影响小句中句法关系的可预测性？
• RQ2 在信息论约束下，使可预测性最大化的最优核心位置是什么？
• RQ3 依存距离最小化与可预测性最大化这两个竞争原则如何共同塑造词序？
• RQ4 为何某些词序（如SVO、VSO）在语言中比其他词序更普遍？
• RQ5 在双重最优性框架下，如何对六种可能词序的理论最优性进行排序？

主要发现

• 可最大化可预测性的核心位置是小句的末尾，因为此时可积累最多的上下文信息。
• 将核心置于句尾会与依存距离最小化产生冲突，后者偏好将核心置于靠前位置。
• SVO与VSO词序作为可预测性与依存距离之间最优折衷而浮现，解释了其在自然语言中的高频率。
• 该模型预测OVS与VOS词序较不理想，因其可预测性较低且依存距离较高。
• 该理论框架通过平衡两项竞争原则，解释了词序类型学分布的观察结果。
• 结果支持可预测性最大化是句法词序演化的一个基本驱动力，尽管常被忽视。