[论文解读] Question-Answering with Grammatically-Interpretable Representations

Hamid Palangi, Paul Smolensky+2 more|arXiv (Cornell University)|May 23, 2017

Topic Modeling被引用 11

一句话总结

本文提出了张量积循环网络（TPRN），一种用于问答任务的模型，利用张量积表征（TPRs）生成可解释的、语法可解释的内部表征。通过使用软注意力机制学习绑定符号（表示词义）与角色（近似语法功能），TPRN在实现SQuAD数据集最先进性能的同时，无需任何语言学监督即可实现隐藏状态的语言学解释。

ABSTRACT

We introduce an architecture, the Tensor Product Recurrent Network (TPRN). In our application of TPRN, internal representations learned by end-to-end optimization in a deep neural network performing a textual question-answering (QA) task can be interpreted using basic concepts from linguistic theory. No performance penalty need be paid for this increased interpretability: the proposed model performs comparably to a state-of-the-art system on the SQuAD QA task. The internal representation which is interpreted is a Tensor Product Representation: for each input word, the model selects a symbol to encode the word, and a role in which to place the symbol, and binds the two together. The selection is via soft attention. The overall interpretation is built from interpretations of the symbols, as recruited by the trained model, and interpretations of the roles as used by the model. We find support for our initial hypothesis that symbols can be interpreted as lexical-semantic word meanings, while roles can be interpreted as approximations of grammatical roles (or categories) such as subject, wh-word, determiner, etc. Fine-grained analysis reveals specific correspondences between the learned roles and parts of speech as assigned by a standard tagger (Toutanova et al. 2003), and finds several discrepancies in the model's favor. In this sense, the model learns significant aspects of grammar, after having been exposed solely to linguistically unannotated text, questions, and answers: no prior linguistic knowledge is given to the model. What is given is the means to build representations using symbols and roles, with an inductive bias favoring use of these in an approximately discrete manner.

研究动机与目标

• 开发一种用于问答任务的深度学习模型，其内部表征可通过语言学理论进行解释。
• 探究仅在无标注文本、问题和答案上进行训练的神经网络，是否能够无需显式监督即学习到语言结构表征——特别是词汇意义与语法角色。
• 证明此类可解释性可在不牺牲在SQuAD等挑战性基准上的性能前提下实现。
• 验证所学表征是否与既有的语言学概念（如词性与语法角色）具有有意义的对应关系。

提出的方法

• 该模型将BiDAF中的LSTM循环层替换为张量积循环单元（TPRUs），通过张量积编码词作为符号向量与角色向量的绑定。
• 每个词通过符号（编码词汇语义意义）与角色（编码句法功能）的张量积形成张量积表征（TPR），并通过软注意力机制学习。
• 模型在SQuAD数据集上进行端到端训练，优化跨度预测准确率，同时学习符号与角色向量。
• 通过分析特定词所选择的符号与角色，实现可解释性，从而可映射至语言学类别如词性与语法角色。
• 该架构内置归纳偏置，倾向于离散化符号与角色的部署，从而在保持性能的同时促进可解释性。
• 细粒度分析将所学角色与标准词性标注器输出进行比较，揭示了二者在多数情况下的对齐，以及在某些情形下的改进。

实验结果

研究问题

• RQ1 仅在无标注文本、问题和答案上进行训练的深度神经网络，能否学习到与语言学概念（如词义与语法角色）有意义对应的内部表征？
• RQ2 模型所学习的符号在多大程度上对应词汇语义意义，角色在多大程度上对应如主语或宾语等语法功能？
• RQ3 模型的内部结构是否在无显式语言学监督的情况下揭示出已学习的句法与语义结构的证据？
• RQ4 能否通过语言学理论验证模型表征的可解释性？这是否增强了对模型行为的理解？

主要发现

• TPRN模型在SQuAD问答基准上达到最先进性能，表明可解释性并未带来性能损失。
• 所学符号始终将语义相关的词语聚类，支持其编码词汇语义意义的假设。
• 所学角色与语言学理论中的语法角色（如主语、宾语、wh-词）表现出强相关性，表明模型已习得句法结构。
• 细粒度分析显示，模型的角色分配在捕捉句法功能角色方面，尤其在复杂或歧义语境中，常优于标准词性标注器。
• 尽管表征是端到端从原始文本和监督信号中学习的，但模型的内部表征可被解释为结构化的类符号表征。
• 本研究为以下假设提供了实证支持：抽象语言学概念（如词性与语法角色）可自然地从任务驱动学习中浮现，即使在无显式语言学监督的情况下。