[论文解读] On The Ingredients of an Effective Zero-shot Semantic Parser

Pengcheng Yin, John Wieting+2 more|arXiv (Cornell University)|Oct 15, 2021

Natural Language Processing Techniques被引用 7

一句话总结

本文提出了一种零样本语义解析器，通过使用紧凑的领域自适应语法、更强的释义模型以及高效采样高概率标准示例，减少了合成训练数据与真实用户语句之间的分布差异。该模型在无需任何标注训练数据的情况下，在Scholar和Geo基准上实现了最先进性能，优于需要人工标注的监督方法。

ABSTRACT

Semantic parsers map natural language utterances into meaning representations (e.g., programs). Such models are typically bottlenecked by the paucity of training data due to the required laborious annotation efforts. Recent studies have performed zero-shot learning by synthesizing training examples of canonical utterances and programs from a grammar, and further paraphrasing these utterances to improve linguistic diversity. However, such synthetic examples cannot fully capture patterns in real data. In this paper we analyze zero-shot parsers through the lenses of the language and logical gaps (Herzig and Berant, 2019), which quantify the discrepancy of language and programmatic patterns between the canonical examples and real-world user-issued ones. We propose bridging these gaps using improved grammars, stronger paraphrasers, and efficient learning methods using canonical examples that most likely reflect real user intents. Our model achieves strong performance on two semantic parsing benchmarks (Scholar, Geo) with zero labeled data.

研究动机与目标

• 解决现有零样本语义解析器依赖于与真实用户语句分布不匹配的合成数据所导致的局限性。
• 通过使用更强的释义模型和领域特定的语法规则，生成更多习语化和多样化的释义，以减少语言差距。
• 通过使用预训练语言模型概率仅采样最可能的标准示例，缓解逻辑差距，避免训练数据呈指数级增长。
• 证明紧凑且表达性强的语法可优于大型手工构建的语法，在零样本语义解析中表现更优。
• 在无需任何标注训练或验证数据的情况下实现强大的零样本性能，超越监督基线方法。

提出的方法

• 设计一个包含46条领域通用和少量领域特定生成规则的紧凑、表达性强的同步上下文无关语法（SCFG），以更好地捕捉习语化语言模式。
• 使用预训练语言模型估计标准语句-程序对的可能性，实现对高概率、真实感强示例的高效采样。
• 应用神经释义模型生成标准语句的语言多样性变体，提升对自然语言变异的覆盖度。
• 通过在前序迭代中训练的解析器过滤噪声或低质量释义，实现数据质量的迭代提升。
• 仅使用语法和语言模型概率，在过滤后的、经释义的合成数据上端到端训练语义解析器。
• 通过在新生成的高质量释义示例上重新训练，迭代优化解析器，提升对真实用户语句的泛化能力。

实验结果

研究问题

• RQ1 紧凑且领域自适应的语法是否能有效减少零样本语义解析中合成语句与真实用户语句之间的语言差距？
• RQ2 使用语言模型概率采样高概率标准示例，能否有效弥合逻辑差距，而无需穷举枚举？
• RQ3 与人工或表达性较弱的方法相比，更强的释义模型和高效过滤机制在多大程度上能提升零样本性能？
• RQ4 仅基于合成数据训练的零样本解析器是否能超越需要标注数据的监督基线方法？
• RQ5 语言差距与逻辑差距如何共同影响零样本语义解析器在真实世界基准上的泛化能力？

主要发现

• 所提模型在Scholar和Geo基准上实现了最先进性能，优于需要人工标注的监督方法（如OverNight和Granno）。
• 仅使用46条通用规则和少量领域特定规则的紧凑、领域自适应语法，相比大型手工构建的语法，能生成更自然、更多样化的语句。
• 通过使用预训练语言模型概率仅采样最可能的标准示例，显著减少了训练数据规模，同时保持了高逻辑覆盖度并提升了模型性能。
• 释义模型在低概率或不自然示例上的准确率降至约30%，表明来自低概率样本的噪声释义会降低模型性能。
• 过滤机制可减少噪声释义，但对不自然示例仍存在误报问题，提示在自然度建模方面仍有改进空间。
• 尽管性能优异，该模型在复杂逻辑模式上仍表现吃力，表明逻辑差距仍是零样本语义解析中的重大挑战。