[论文解读] The Linear Arrangement Library. A new tool for research on syntactic dependency structures

Lluís Alemany-Puig, Juan Luis Esteban+1 more|arXiv (Cornell University)|Dec 5, 2021

Natural Language Processing Techniques被引用 5

一句话总结

线性排列库（LAL）是一个开源、易于使用的C++和Python工具，用于在单个依存句法树、语料库及语料库集合上计算句法依存度量，如依存距离和交叉数。它能够高效计算随机基线以及在投影、平面和无约束线性排列下的极值（最小值/最大值），显著降低了定量依存句法和离散数学研究领域的研究门槛。

ABSTRACT

The new and growing field of Quantitative Dependency Syntax has emerged at the crossroads between Dependency Syntax and Quantitative Linguistics. One of the main concerns in this field is the statistical patterns of syntactic dependency structures. These structures, grouped in treebanks, are the source for statistical analyses in these and related areas; dozens of scores devised over the years are the tools of a new industry to search for patterns and perform other sorts of analyses. The plethora of such metrics and their increasing complexity require sharing the source code of the programs used to perform such analyses. However, such code is not often shared with the scientific community or is tested following unknown standards. Here we present a new open-source tool, the Linear Arrangement Library (LAL), which caters to the needs of, especially, inexperienced programmers. This tool enables the calculation of these metrics on single syntactic dependency structures, treebanks, and collection of treebanks, grounded on ease of use and yet with great flexibility. LAL has been designed to be efficient, easy to use (while satisfying the needs of all levels of programming expertise), reliable (thanks to thorough testing), and to unite research from different traditions, geographic areas, and research fields.

研究动机与目标

• 为定量依存句法研究中计算句法依存度量缺乏可访问、经过充分测试且可重用的代码提供解决方案。
• 简化在投影性和平面性等正式约束下，依存度量的随机基线和极值（最小值/最大值）的计算。
• 通过提供标准化、文档齐全且经过测试的软件库，统一不同语言传统、地理区域和学科之间的研究。
• 降低编程技能水平各异的研究人员，特别是早期职业研究人员和计算语言学新手的入门门槛。
• 通过支持对语料库（包括通用依存语料库）的大规模分析，实现对句法树集合的高效处理。

提出的方法

• LAL 实现了高效的算法，用于在有根树结构上计算依存距离、依存交叉数及其他句法度量。
• 它支持三种主要的线性排列约束：无约束（允许交叉）、平面（无交叉）和投影（无交叉且根节点不被覆盖）。
• 该库使用优化算法和随机抽样，精确或近似计算度量的极值（最小值、最大值），当闭式解不可用时采用此方法。
• 对于随机基线，LAL 支持在指定约束下对所有有效排列进行均匀抽样，包括投影和平面排序。
• 它与标准语料库格式集成，并支持多棵树的批量处理，从而实现大规模统计分析。
• 该库以模块化、文档齐全的API形式在C++和Python中实现，确保所有编程水平的用户均可访问。

实验结果

研究问题

• RQ1 研究人员如何能高效计算句法依存树上的依存度量（如依存距离之和和交叉数）？
• RQ2 在投影、平面和无约束线性排列下，计算依存度量极值（最小值和最大值）在计算上是否可行？
• RQ3 如何在平面性和投影性等正式约束下，高效且准确地生成依存度量的随机基线？
• RQ4 一个统一的开源软件库在多大程度上能减少重复工作并提高定量依存句法研究的可重现性？
• RQ5 一个单一工具能否有效支持语言学研究者以及从事依存结构研究的计算机科学和离散数学研究者？

主要发现

• LAL 在无约束、平面和投影排列下，分别以 O(n².²)、O(n) 和 O(n) 的时间复杂度，实现了依存距离之和和交叉数的计算。
• 在所有三种约束下，依存距离之和的期望值均可高效计算，其中平面和投影排列的复杂度为 O(n)。
• 任何树的最小交叉数（C）显然为 0，LAL 可直接计算该值。
• LAL 支持在投影和平面约束下生成随机线性排列，从而为假设检验提供稳健的统计基线。
• 当已知时，该库提供极值的精确算法；当闭式解不可用时，自动回退至随机抽样。
• LAL 作为开源软件在 https://cqllab.upc.edu/lal 发布，配有全面的文档和测试，确保在多样化研究群体中的可靠性与可用性。