[论文解读] Representation of linguistic form and function in recurrent neural networks

Ákos Kádár, Grzegorz Chrupała+1 more|arXiv (Cornell University)|Feb 29, 2016

Multimodal Machine Learning Applications参考文献 26被引用 17

一句话总结

本文提出新颖的方法，分析循环神经网络（RNNs）如何编码语言的形式与功能，重点关注多任务门控循环网络中的隐藏激活模式。通过省略分数与top-k上下文分析，结果表明：图像预测路径对语义丰富的词类和语法功能具有选择性注意，而语言模型则对句法结构更敏感，其专用隐藏单元编码了长期依赖与任务特定模式。

ABSTRACT

We present novel methods for analyzing the activation patterns of RNNs from a linguistic point of view and explore the types of linguistic structure they learn. As a case study, we use a multi-task gated recurrent network architecture consisting of two parallel pathways with shared word embeddings trained on predicting the representations of the visual scene corresponding to an input sentence, and predicting the next word in the same sentence. Based on our proposed method to estimate the amount of contribution of individual tokens in the input to the final prediction of the networks we show that the image prediction pathway: a) is sensitive to the information structure of the sentence b) pays selective attention to lexical categories and grammatical functions that carry semantic information c) learns to treat the same input token differently depending on its grammatical functions in the sentence. In contrast the language model is comparatively more sensitive to words with a syntactic function. Furthermore, we propose methods to ex- plore the function of individual hidden units in RNNs and show that the two pathways of the architecture in our case study contain specialized units tuned to patterns informative for the task, some of which can carry activations to later time steps to encode long-term dependencies.

研究动机与目标

• 本文旨在开发可解释的方法，以语言结构为基准分析RNN隐藏状态。
• 研究多任务架构中不同RNN路径如何编码语言形式与功能。
• 目标是揭示RNN中分布式表征如何反映语言的句法、语义及信息结构特性。
• 旨在识别编码长期依赖与任务相关模式的专用隐藏单元。
• 本研究旨在为将语言学分析推广至其他RNN架构与任务提供框架。

提出的方法

• 引入省略分数作为量化单个输入词元对最终预测贡献程度的方法，通过掩码词元并观察预测变化来衡量其重要性。
• top-k上下文方法用于识别激活每个隐藏单元的最相关句子上下文，从而实现对单元功能的定性与定量分析。
• 计算离散化隐藏单元激活与上下文类型（如词组、依存关系）之间的互信息，以衡量关联强度。
• 上下文类型包括词类n-gram（单字、双字、三字）与句法依存关系（deprel n-gram）。
• 对每个隐藏单元的激活分布按5%密度百分位数分箱，以支持统计比较。
• 使用5000次自 resampling 以评估两条路径间中位互信息得分对数比的变异性。

实验结果

研究问题

• RQ1 在不同任务（图像预测 vs. 语言建模）上训练的RNN路径在对词汇类别与语法功能等语言特征的敏感性上是否存在差异？
• RQ2 RNN隐藏单元在编码词汇内容之外的抽象语言模式（如句法结构或语义主题）方面，程度如何？
• RQ3 通过与上下文类型的互信息衡量，两条路径在句法与语义信息编码上存在何种差异？
• RQ4 在每条路径中，哪些输入词元对最终预测贡献最大，且这种贡献如何随语法功能而变化？
• RQ5 隐藏单元是否能跨时间步携带激活以编码长期依赖？此类单元在两条路径间有何不同？

主要发现

• 图像预测路径（VISUAL）对信息结构敏感，表现出对句首名词的选择性注意，这些名词可能为话题。
• VISUAL对承载语义内容的词类与语法功能（如特定句法角色中的名词与动词）表现出更集中的注意力。
• 语言模型（TEXTUAL）对局部句法特征更敏感，其隐藏单元与句法结构（如依存关系）的关联更强。
• TEXTUAL中隐藏单元与依存关系（deprel）上下文的中位互信息显著高于VISUAL，且自 resampling 分布无重叠。
• 两条路径中的隐藏单元均具专业化特征：部分编码特定句法类别或语义主题，部分则能跨时间步保持激活，以支持长期依赖编码。
• 省略分数方法能有效识别关键输入词元，揭示语义内容与语法功能共同影响其对预测的贡献。