[论文解读] TRANX: A Transition-based Neural Abstract Syntax Parser for Semantic Parsing and Code Generation

Pengcheng Yin, Graham Neubig|arXiv (Cornell University)|Oct 5, 2018

Natural Language Processing Techniques参考文献 20被引用 19

一句话总结

Tranx 是一种基于转换的神经抽象语法解析器，使用与任务无关的抽象语法描述语言（ASDL）语法将自然语言语句映射为形式化语义表示。通过将解析器架构与特定领域的语法规则解耦，Tranx 在语义解析和代码生成任务中均表现出色，在四个基准中的三个上超越了现有神经模型，且在 WikiSQL 上通过简单扩展实现了最先进性能。

ABSTRACT

We present TRANX, a transition-based neural semantic parser that maps natural language (NL) utterances into formal meaning representations (MRs). TRANX uses a transition system based on the abstract syntax description language for the target MR, which gives it two major advantages: (1) it is highly accurate, using information from the syntax of the target MR to constrain the output space and model the information flow, and (2) it is highly generalizable, and can easily be applied to new types of MR by just writing a new abstract syntax description corresponding to the allowable structures in the MR. Experiments on four different semantic parsing and code generation tasks show that our system is generalizable, extensible, and effective, registering strong results compared to existing neural semantic parsers.

研究动机与目标

• 开发一种可泛化且可扩展的神经语义解析器，能够在不进行架构重设计的情况下适配多种语义表示形式化体系。
• 通过使用外部 ASDL 语法规范将模型与特定领域语法解耦，解决现有神经解析器与特定语法紧密耦合的局限性。
• 通过利用由抽象语法树（AST）和 ASDL 定义的语法引导的结构化、基于转换的解析方法，提升语义解析和代码生成的性能。
• 证明仅通过最小的架构修改（如添加指针网络或答案修剪）即可在复杂基准（如 WikiSQL）上实现显著的性能提升。

提出的方法

• Tranx 使用一种转换系统，通过一系列树构建操作，逐步从自然语言输入构建抽象语法树（AST）。
• 解析器使用神经网络对转换序列中的每个操作进行打分，最终通过用户定义的 AST_to_MR 函数将 AST 转换为语义表示。
• 特定领域的语法通过抽象语法描述语言（ASDL）编码，该语言定义了有效的 AST 结构，并在不修改模型架构的前提下指导解析过程。
• 系统通过模块化设计支持可扩展性：通过定义新的 ASDL 规则添加新语法，通过少量代码更改集成新操作（如用于列选择的 GenToken）。
• 在 WikiSQL 等代码生成任务中，Tranx 集成了对列编码的指针网络，以生成列引用，从而在不进行复杂架构重构的情况下提升准确性。
• 该模型支持父节点输入（整合父节点表示）和答案修剪（执行候选输出以过滤无效结果），从而在基于表格的任务中提升性能。

实验结果

研究问题

• RQ1 通过将模型与特定任务的语法解耦，单一神经解析器架构是否能够在多样化的语义解析和代码生成任务中实现泛化？
• RQ2 基于 ASDL 语法约束的基于转换的解析方法，在提升语义解析的准确性和泛化能力方面效果如何？
• RQ3 在复杂、基于表格的代码生成任务中，通过最小的架构扩展（如指针网络或答案修剪）能实现多大程度的性能提升？
• RQ4 在抽象语法规则构建过程中建模父节点信息是否能提升在复杂语法（如 Python 或 SQL）上的性能？

主要发现

• Tranx 在 Geo 和 Atis 数据集上的表现优于现有神经语义解析器，分别达到 88.2% 和 86.2% 的准确率，即使未使用父节点输入。
• 在 Django 代码生成基准上，Tranx 达到 73.7% 的准确率，超越了先前的神经模型，展现出在程序合成任务中的强大有效性。
• 在 WikiSQL 上，Tranx 在应用答案修剪后达到 68.6% 的精确匹配和 78.6% 的执行准确率，优于许多使用复杂、表格感知神经架构的专用模型。
• 引入父节点输入可提升在复杂语法（如 Python/Django）上的性能，表明建模父子关系有助于提升深层 AST 中的解析准确率。
• 即使仅通过最小修改（如添加用于列选择的指针网络和简单的答案修剪策略），Tranx 也在 WikiSQL 上实现了最先进性能，证明了其高度可扩展性。
• 该模型在推理过程中不使用表格内容时性能依然强劲，且在应用答案修剪后性能显著提升，凸显了轻量级、事后过滤方法的价值。