[论文解读] Tensor Product Generation Networks for Deep NLP Modeling

Qiuyuan Huang, Paul Smolensky+3 more|arXiv (Cornell University)|Sep 26, 2017

Multimodal Machine Learning Applications参考文献 24被引用 6

一句话总结

本文提出了张量积生成网络（TPGN），一种旨在支持张量积表示（TPR）的深度学习架构，用于可解释的自然语言生成。通过利用张量积解绑技术，根据语法角色提取词语，TPGN在COCO图像字幕生成基准测试中表现优于LSTM基线模型，同时通过基于角色的聚类和词性标注预测，实现了对内部表征的可解释性。

ABSTRACT

We present a new approach to the design of deep networks for natural language processing (NLP), based on the general technique of Tensor Product Representations (TPRs) for encoding and processing symbol structures in distributed neural networks. A network architecture --- the Tensor Product Generation Network (TPGN) --- is proposed which is capable in principle of carrying out TPR computation, but which uses unconstrained deep learning to design its internal representations. Instantiated in a model for image-caption generation, TPGN outperforms LSTM baselines when evaluated on the COCO dataset. The TPR-capable structure enables interpretation of internal representations and operations, which prove to contain considerable grammatical content. Our caption-generation model can be interpreted as generating sequences of grammatical categories and retrieving words by their categories from a plan encoded as a distributed representation.

研究动机与目标

• 开发一种深度学习架构，通过张量积表示（TPRs）实现结构化、可解释的符号处理，用于自然语言处理。
• 通过将语法角色结构嵌入模型内部计算，解决标准序列模型（如LSTM）缺乏可解释性的问题。
• 实现端到端学习分布式表征，同时保留符号结构，尤其适用于自然语言生成任务。
• 证明支持TPR的架构可在生成任务中超越标准RNN/LSTM基线模型，同时支持对学习表征的有意义解释。

提出的方法

• TPGN架构通过矩阵-向量乘积实现TPR解绑，从而从分布式句子表征中提取单个词语。
• 内部表征被组织为词嵌入与角色嵌入（如主语、宾语、动词）的张量积，形成句子结构的向量空间表征。
• 模型使用学习到的解绑向量，按语法角色顺序检索词语，实现结构化生成。
• 网络在图像字幕任务上进行端到端训练，其中CNN编码器生成图像特征，TPGN解码器基于角色特定的解绑生成序列。
• 通过聚类解绑向量，该架构支持可解释性，揭示了与语法类别（如名词、动词、介词）相对应的清晰模式。
• 关键组件包括角色特定的解绑向量，以及类似计划的分布式表征，用于编码句子结构以支持检索。

实验结果

研究问题

• RQ1 能否设计一种深度学习架构，使其天然具备TPR能力，从而在实现强大生成能力的同时保持可解释性？
• RQ2 TPGN模型是否在图像字幕生成任务中优于标准的LSTM基线模型，同时保持可解释的内部表征？
• RQ3 TPGN中学习到的解绑向量在多大程度上与语法角色和词性相对应？
• RQ4 TPGN模型的内部结构能否被解释为基于语法类别的句子生成计划？
• RQ5 解绑向量的聚类模式与生成词语的句法和语义特性之间有何关系？

主要发现

• TPGN模型在COCO数据集上的多个标准指标上均优于LSTM基线模型，表明其生成质量更优。
• TPGN模型中的解绑向量按语法类别有意义地聚类：聚类1、5、7、9主要为名词性，而聚类0、4、6、8主要为动词性。
• 模型内部的解绑过程表明，第一个词始终使用来自聚类2的角色解绑向量生成，第二个词则来自聚类3，表明存在位置角色编码。
• 对于第二位置之后的词语，解绑向量与句法/语义特性相关联，其中91%由聚类4生成的词语为介词，88%由聚类7生成的词语为名词。
• 对于由聚类4（介词）生成的词语，其词性标注预测的准确率达到91%；对于由聚类7（名词）生成的词语，准确率为88%，表明解绑聚类与语法结构高度一致。
• TPGN模型的内部表征包含丰富的语法信息，在5,000个测试字幕中，对N/V（名词/动词）一般化模式的符合度极高（多数类别的Pc = 0.91–0.98）。