[论文解读] Natural Language Processing: Structure and Complexity

Wlodek Zadrozny|arXiv (Cornell University)|Jul 13, 1996

Computability, Logic, AI Algorithms参考文献 12被引用 7

一句话总结

本文提出了一套形式化框架，通过将柯尔莫哥洛夫复杂度应用于‘语义自动机’——一种旨在从句子中提取语义信息的有限状态机——来衡量自然语言处理（NLP）任务的复杂度。通过将语义定义为自动机能够回答的问题集合的相对关系，该方法实现了对任务难度的定量预测，并提供了复杂度管理策略，将 NLP 置于软件工程的一个形式化子领域中，为其奠定了严格的理论基础。

ABSTRACT

We introduce a method for analyzing the complexity of natural language processing tasks, and for predicting the difficulty new NLP tasks. Our complexity measures are derived from the Kolmogorov complexity of a class of automata --- {\it meaning automata}, whose purpose is to extract relevant pieces of information from sentences. Natural language semantics is defined only relative to the set of questions an automaton can answer. The paper shows examples of complexity estimates for various NLP programs and tasks, and some recipes for complexity management. It positions natural language processing as a subdomain of software engineering, and lays down its formal foundation.

研究动机与目标

• 将自然语言处理形式化为软件工程的一个子领域，并建立严格的理论基础。
• 不孤立地定义语义，而是相对于自动机能够回答的问题集合来定义语义。
• 利用语义自动机的柯尔莫哥洛夫复杂度，为 NLP 任务开发复杂度度量方法。
• 基于其底层自动机的结构和计算特性，预测新 NLP 任务的难度。
• 为 NLP 系统设计中的复杂度管理提供实用策略。

提出的方法

• 本文引入了‘语义自动机’——一种确定性有限自动机，根据预定义的问题从句子中提取相关的语义信息。
• 应用柯尔莫哥洛夫复杂度来量化这些自动机的算法复杂度，将其作为内在任务难度的度量。
• 复杂度的计算基于自动机被设计用于回答的问题集合，使语义具有上下文依赖性。
• 该方法将 NLP 任务视为具有形式化规格说明的计算问题，从而支持形式化分析与比较。
• 该框架可通过分析其底层自动机结构，对现有 NLP 程序进行复杂度估计。
• 复杂度管理的实用方法源自对自动机表示的结构分解与优化。

实验结果

研究问题

• RQ1 如何利用算法信息论，正式度量 NLP 任务的内在复杂度？
• RQ2 语义自动机被设计用于回答的问题集合，如何影响句子的语义？
• RQ3 语义自动机的柯尔莫哥洛夫复杂度能否作为 NLP 任务难度的可靠预测指标？
• RQ4 如何利用基于自动机的模型，正式地将 NLP 建立在软件工程原则之上？
• RQ5 可以推导出哪些实用策略，用于管理 NLP 系统开发中的复杂度？

主要发现

• 语义自动机的柯尔莫哥洛夫复杂度为 NLP 任务复杂度提供了形式化且量化的度量。
• 语义本质上是相对于自动机能够回答的问题集合而定义的，从而确立了语义的上下文依赖性定义。
• 该框架成功估计了多种 NLP 程序的复杂度，展示了其预测实用性。
• 本文为 NLP 作为软件工程子领域的形式化基础提供了理论支撑，增强了其理论严谨性。
• 复杂度管理的实用策略源自对自动机构造的结构化分析。
• 该方法可在实现前的早期阶段，对新 NLP 任务的难度进行预测。