[论文解读] Semantic Parsing for Task Oriented Dialog using Hierarchical Representations

Sonal Gupta, Rushin Shah+3 more|arXiv (Cornell University)|Oct 18, 2018

Topic Modeling参考文献 15被引用 19

一句话总结

本文提出了一种用于任务导向对话系统的分层语义解析框架，通过嵌套意图和槽位的树状结构表示，实现组合性查询理解。在包含44,000条话语的语料上评估，循环神经网络语法（RNNG）优于序列到序列模型，预测正确解析树的Top-5准确率达到92.48%，证明了结构归纳偏置在语义解析中的有效性。

ABSTRACT

Task oriented dialog systems typically first parse user utterances to semantic frames comprised of intents and slots. Previous work on task oriented intent and slot-filling work has been restricted to one intent per query and one slot label per token, and thus cannot model complex compositional requests. Alternative semantic parsing systems have represented queries as logical forms, but these are challenging to annotate and parse. We propose a hierarchical annotation scheme for semantic parsing that allows the representation of compositional queries, and can be efficiently and accurately parsed by standard constituency parsing models. We release a dataset of 44k annotated queries (fb.me/semanticparsingdialog), and show that parsing models outperform sequence-to-sequence approaches on this dataset.

研究动机与目标

• 解决传统意图-槽位标注在表示任务导向对话系统中复杂嵌套用户请求方面的局限性。
• 设计一种在表达能力与高效标注及解析之间取得平衡的语义表示，避免完整逻辑形式的复杂性。
• 证明基于句法解析的模型可有效适配到使用分层结构的语义解析任务中。
• 发布一个大规模、高覆盖度、高标注一致性的44,000条标注对话请求数据集，以支持未来研究。

提出的方法

• 提出一种分层表示：根节点为意图，非叶节点为意图或槽位，槽位可包含嵌套意图，形成类似短语结构的解析树。
• 施加结构约束：根节点必须为意图，意图可有词元或槽位作为子节点，槽位可有词元或一个意图作为子节点。
• 采用循环神经网络语法（RNNG）作为解析模型，利用其在生成合法树结构方面的归纳偏置以及线性时间推理能力。
• 使用单字词表（LOTV）作为输出终端，以促使模型更关注结构预测而非词元复现。
• 使用标准优化方法（Adam、NAG）进行训练，并采用精确匹配和Top-k准确率指标进行评估。
• 对RNNG各组件（动作LSTM、栈LSTM、缓冲LSTM）进行消融研究，评估各模块的贡献。

实验结果

研究问题

• RQ1 分层树状语义表示能否有效建模任务导向对话中的组合性与嵌套用户请求？
• RQ2 所提出的表示是否实现了高标注者间一致性，并覆盖了真实世界用户话语的高比例？
• RQ3 标准句法解析模型（如RNNG）能否有效适配到该表示下的语义解析任务中，优于序列到序列基线模型？
• RQ4 在低资源、高结构设置下，结构化模型的归纳偏置与序列到序列模型的灵活性相比表现如何？

主要发现

• 该分层表示覆盖了70%无法由传统单意图、单槽位系统建模的用户请求，其中30%的查询需要组合嵌套。
• 该数据集的标注者间一致性较高，表明该标注方案可靠且适用于大规模数据收集。
• RNNG在预测正确解析树方面的Top-5准确率达到92.48%，显著优于序列到序列基线模型，后者Top-1准确率为78.51%。
• 即使使用束搜索，RNNG模型仍保持高性能，Top-5准确率达到92.48%，而贪婪解码的准确率仅为78.51%。
• 移除RNNG中的缓冲LSTM会导致性能急剧下降（精确匹配降至13.78%），凸显其在结构学习中的关键作用。
• 使用单字词表（LOTV）可提升CNN和LSTM序列到序列模型的性能，但对Transformer模型造成损害，表明需针对不同模型进行特定优化。