[论文解读] Using Inverse lambda and Generalization to Translate English to Formal Languages

Chitta Baral, Juraj Dzifcak+2 more|arXiv (Cornell University)|Aug 18, 2011

Natural Language Processing Techniques参考文献 12被引用 11

一句话总结

本文提出了一种新颖的系统，通过逆λ演算和泛化技术，将英语句子翻译为形式化语言表示。该方法利用CCG解析器和通过λ演算的语义组合，从句法结构和已知的语义表示中学习词义，在无需手工编写语义规则的情况下，实现了在机器人指令和数据库查询语料上的更高准确率。

ABSTRACT

We present a system to translate natural language sentences to formulas in a formal or a knowledge representation language. Our system uses two inverse lambda-calculus operators and using them can take as input the semantic representation of some words, phrases and sentences and from that derive the semantic representation of other words and phrases. Our inverse lambda operator works on many formal languages including first order logic, database query languages and answer set programming. Our system uses a syntactic combinatorial categorial parser to parse natural language sentences and also to construct the semantic meaning of the sentences as directed by their parsing. The same parser is used for both. In addition to the inverse lambda-calculus operators, our system uses a notion of generalization to learn semantic representation of words from the semantic representation of other words that are of the same category. Together with this, we use an existing statistical learning approach to assign weights to deal with multiple meanings of words. Our system produces improved results on standard corpora on natural language interfaces for robot command and control and database queries.

研究动机与目标

• 开发一种将自然语言翻译为形式化知识表示（KR）语言的通用方法。
• 通过使用逆λ演算从句法解析中推导语义表示，消除对手工编写语义组合规则的依赖。
• 通过泛化和多义词的统计加权，改进语义词典的学习。
• 在无需针对特定语言进行调优的情况下，实现对第一阶逻辑、ASP和数据库查询语言等多种形式化语言的翻译。
• 在仅使用少量初始词汇条目和可扩展的训练数据的情况下，实现高精度的解析和语义表示。

提出的方法

• 该系统使用组合范畴语法（CCG）解析器进行句法解析，并同时通过λ演算构建语义意义。
• 引入两种逆λ算子，以在已知G和H的情况下计算未知的语义表示F，使得F@G = H 或 G@F = H。
• 逆λ算子被应用于多种形式化语言，包括一阶逻辑、数据库查询语言、ASP和时序逻辑。
• 泛化技术从同一句法类别的其他词中推断词的语义表示，减少对大型标注词典的依赖。
• 统计学习为多个可能的语义表示分配权重，根据可能性对解析结果进行排序。
• 该系统利用已知的语义表示和句法结构，推导出复杂的意义公式，而无需额外的语义语法规则。

实验结果

研究问题

• RQ1 逆λ演算是否可用于在多种形式化语言中，从已知语义表示推导未知语义表示？
• RQ2 泛化在从相似句法类别的词中学习语义表示方面的有效性如何？
• RQ3 CCG解析器与λ演算组合在语义解析中在多大程度上可以替代手工编写的语义规则？
• RQ4 与现有方法相比，该系统在标准机器人指令和数据库查询语料上的表现如何？
• RQ5 该系统是否能推广到新的形式化语言，如答案集编程和时序逻辑？

主要发现

• 该系统在标准机器人指令与控制及数据库查询语料上优于现有方法，尤其在较短且结构相似的句子上表现更优。
• 在使用小规模训练集将一份报纸文本语料初步翻译为答案集编程时，系统在该语料上实现了77%的精确率、82%的召回率和80%的F1值。
• 当句子可被分解为较小的、可独立解析的单元（如条件句）时，系统对句子长度具有鲁棒性。
• 增加训练数据量可提高对罕见句法类别的覆盖，但对整体性能影响甚微，因为大多数常见类别在早期即被学习。
• 系统性能的主要限制因素是测试数据中未见过的句法类别以及语义表示排序中的歧义，而非泛化能力的缺乏。
• 对解析结果的重新排序可缓解语义表示歧义带来的问题，表明存在进一步改进的路径。