[论文解读] Visualizing and Understanding Neural Models in NLP

Jiwei Li, Xinlei Chen+2 more|arXiv (Cornell University)|Jun 2, 2015

Topic Modeling参考文献 25被引用 166

一句话总结

本文引入可视化技术以解释神经网络在自然语言处理中的组合性，通过单位激活图与基于一阶导数的显著性估计。结果表明，LSTM在否定和让步从句中能更清晰地聚焦于关键词汇（如'hate'），在捕捉语义不对称性方面优于标准RNN，证明显著性分析可揭示模型在意义组合中的行为。

ABSTRACT

While neural networks have been successfully applied to many NLP tasks the resulting vector-based models are very difficult to interpret. For example it's not clear how they achieve {\em compositionality}, building sentence meaning from the meanings of words and phrases. In this paper we describe four strategies for visualizing compositionality in neural models for NLP, inspired by similar work in computer vision. We first plot unit values to visualize compositionality of negation, intensification, and concessive clauses, allow us to see well-known markedness asymmetries in negation. We then introduce three simple and straightforward methods for visualizing a unit's {\em salience}, the amount it contributes to the final composed meaning: (1) gradient back-propagation, (2) the variance of a token from the average word node, (3) LSTM-style gates that measure information flow. We test our methods on sentiment using simple recurrent nets and LSTMs. Our general-purpose methods may have wide applications for understanding compositionality and other semantic properties of deep networks , and also shed light on why LSTMs outperform simple recurrent nets,

研究动机与目标

• 为解决神经网络NLP模型中存在的可解释性鸿沟，尽管其性能强劲，但缺乏透明度。
• 可视化神经网络如何从词汇与短语中组合意义，特别是在否定与强化等情形下。
• 开发通用的显著性分析方法——衡量每个单元对最终输出的贡献程度——基于一阶导数。
• 比较不同架构（如LSTM与标准RNN）在捕捉语义组合性方面的模型行为差异。
• 为某些架构（如LSTM）为何在处理复杂语言现象时表现更优提供初步洞见。

提出的方法

• 绘制各层中单位激活值，以可视化表示在组合过程中的演变，尤其关注否定与让步从句。
• 利用一阶导数计算显著性——通过时间反向传播测量每个单元对最终输出的贡献。
• 在序列到序列自动编码器中应用显著性热力图，可视化哪些输入标记影响每个输出标记的预测。
• 引入基于方差的显著性度量：计算每个词嵌入与句级平均嵌入的偏离程度，以识别显著性词汇。
• 结合多种模型（LSTM、Bi-LSTM、标准RNN、seq2seq自动编码器）的可视化技术，比较可解释性与行为差异。
• 使用受计算机视觉启发的重建与反向传播技术，适配于NLP的序列化、基于词的输入结构。

实验结果

研究问题

• RQ1 神经网络在包含否定、强化或让步从句的句子中，如何组合意义？
• RQ2 显著性（通过一阶导数测量）在识别塑造最终预测的关键词汇方面发挥何种作用？
• RQ3 不同架构（如LSTM与标准RNN）在组合过程中保持对关键词汇关注的能力有何差异？
• RQ4 显著性图与基于方差的度量在多大程度上能揭示神经网络中的局部组合性？
• RQ5 可视化技术能否暴露神经模型行为中的已知语言不对称性，如否定的标记性？

主要发现

• LSTM模型在否定中对关键词汇（如'hate'）表现出更集中的关注，其显著性值在多层中持续保持较高水平，而标准RNN则不然。
• 即使经过7–8次卷积操作，'hate'的显著性仍保持显著，表明语义信号被有效保留。
• 标准RNN在处理'I hate the movie though the plot is interesting'时，尽管正确分类为非常负面，却弱化了第一从句的影响，暗示存在隐藏的信息流动。
• Bi-LSTM模型同时关注'hate the movie'与'plot is interesting'，显示出对两个从句的平衡注意力。
• seq2seq自动编码器中的显著性热力图显示，每个预测词均能回溯至其对应的输入区域（如'hate'对应'hate'），表明模型学习到了对齐关系。
• 随着解码过程推进，输入标记的影响逐渐减弱，而语言模型组件逐渐主导，表明模型推理从输入驱动转向自回归推理。