[论文解读] RNNs Implicitly Implement Tensor Product Representations

R. Thomas McCoy, Tal Linzen+2 more|arXiv (Cornell University)|Dec 20, 2018

Topic Modeling被引用 41

一句话总结

该论文提出张量乘积分解网络（TPDNs）以表明序列和句子的RNN编码可以被张量乘积表示近似，从而揭示结构在神经表示中何时以及如何出现。

ABSTRACT

Recurrent neural networks (RNNs) can learn continuous vector representations of symbolic structures such as sequences and sentences; these representations often exhibit linear regularities (analogies). Such regularities motivate our hypothesis that RNNs that show such regularities implicitly compile symbolic structures into tensor product representations (TPRs; Smolensky, 1990), which additively combine tensor products of vectors representing roles (e.g., sequence positions) and vectors representing fillers (e.g., particular words). To test this hypothesis, we introduce Tensor Product Decomposition Networks (TPDNs), which use TPRs to approximate existing vector representations. We demonstrate using synthetic data that TPDNs can successfully approximate linear and tree-based RNN autoencoder representations, suggesting that these representations exhibit interpretable compositional structure; we explore the settings that lead RNNs to induce such structure-sensitive representations. By contrast, further TPDN experiments show that the representations of four models trained to encode naturally-occurring sentences can be largely approximated with a bag of words, with only marginal improvements from more sophisticated structures. We conclude that TPDNs provide a powerful method for interpreting vector representations, and that standard RNNs can induce compositional sequence representations that are remarkably well approximated by TPRs; at the same time, existing training tasks for sentence representation learning may not be sufficient for inducing robust structural representations.

研究动机与目标

• 激发这样一个想法：RNNs 可能学习成分化的符号结构。
• 提出并验证张量乘积分解网络（TPDN），以用张量乘积表示近似现有的向量编码。

提出的方法

• 定义并实现 TPDN，以学习填充项（fillers）和角色（roles），通过张量积重构给定的编码。
• 在单向、双向和基于树的架构上，对合成数字序列自编码器测试 TPDN。
• 评估自然语言句子编码器的表征是对结构敏感还是在很大程度上类似词袋。
• 使用替换准确性来衡量 TPDN 在不对解码器进行进一步训练的情况下对给定编码器的近似程度。
• 分析架构和训练任务如何影响表示中结构的出现。

实验结果

研究问题

• RQ1 在适当的角色方案下，序列的 RNN 编码能否被张量乘积表示良好近似？
• RQ2 不同的 RNN 架构（单向、双向、基于树的）是否会产生不同的结构表示？
• RQ3 句子嵌入模型的表示是主要无结构（词袋）还是呈现出可被 TPR 检测到的强健结构？
• RQ4 编码器与解码器的选择，以及训练任务，如何影响成分化表示的可学习性？
• RQ5 哪些训练条件会促进或阻碍 RNN 中对结构敏感表征的出现？

主要发现

• TPDN 可以在具有结构敏感的角色方案下，紧密近似来自某些 RNN 架构的编码（例如，基于树的自编码器采用树-位置角色，单向的自编码器采用双向角色）。
• 单向和基于树的自编码器能被相应的角色方案很好近似，而双向编码器则未能被所测试的方案一致很好地捕捉。
• 对于自然语言句子编码器（InferSent、Skip-thought、SST、SPINN），词袋角色提供了强力且有时几乎等价的近似，表明鲁棒结构有限。
• 解码器架构对学习到的表示的影响通常大于编码器，基于树的解码器产生基于树的角色结构。
• 需要显式结构的训练任务（如复杂排序或交错排序）促进更强的结构敏感表示，而像排序这样的任务倾向于词袋表示。