[论文解读] Understanding Hidden Memories of Recurrent Neural Networks

Yao Ming, Shaozu Cao+5 more|arXiv (Cornell University)|Oct 30, 2017

Topic Modeling参考文献 40被引用 27

一句话总结

该论文提出 RNNVis，一种用于通过测量隐藏状态对输入词的期望响应来解释循环神经网络（RNN）隐藏状态的可视化分析系统。通过基于这些响应对隐藏单元和词进行共聚类，系统将它们可视化为记忆芯片和词云，使用户能够通过基于图标的交互式句子可视化和专家验证，诊断和比较 RNN 行为——尤其在情感分析中表现突出。

ABSTRACT

Recurrent neural networks (RNNs) have been successfully applied to various natural language processing (NLP) tasks and achieved better results than conventional methods. However, the lack of understanding of the mechanisms behind their effectiveness limits further improvements on their architectures. In this paper, we present a visual analytics method for understanding and comparing RNN models for NLP tasks. We propose a technique to explain the function of individual hidden state units based on their expected response to input texts. We then co-cluster hidden state units and words based on the expected response and visualize co-clustering results as memory chips and word clouds to provide more structured knowledge on RNNs' hidden states. We also propose a glyph-based sequence visualization based on aggregate information to analyze the behavior of an RNN's hidden state at the sentence-level. The usability and effectiveness of our method are demonstrated through case studies and reviews from domain experts.

研究动机与目标

• 为解决 RNN 在 NLP 任务中虽表现优异却常被视为“黑箱”的可解释性差距。
• 克服隐藏状态单元与输入词之间高度分布化的语义信息带来的挑战。
• 提供一种可扩展的、交互式的可视化系统，支持对 RNN 模型的理解、比较与诊断。
• 使领域专家和实践者能够探索隐藏状态如何在序列中编码和更新信息。
• 通过直观、数据驱动的隐藏记忆动态可视化表示，支持模型调试和假设验证。

提出的方法

• 提出一种新方法，通过在输入序列上计算统计期望，测量隐藏单元对输入词的期望响应，以解释单个隐藏状态单元的功能。
• 将隐藏单元与词之间的关系建模为加权边的二分图，基于期望响应构建，支持结构化分析。
• 应用共聚类技术将相关隐藏状态单元和词聚类，组织为记忆芯片和词云，以支持可视化探索。
• 设计基于图标的序列可视化，聚合隐藏状态统计信息，以表示句子级别的行为与动态。
• 集成丰富的交互功能，支持用户在不同 RNN 模型之间探索、比较和解释隐藏状态响应。
• 采用控制面板和详细视图，支持参数调优、响应分布检查和单元解释。

实验结果

研究问题

• RQ1 如何基于隐藏单元对输入词的响应性，解释 RNN 中单个隐藏状态单元的功能角色？
• RQ2 RNN 中隐藏状态与词之间的语义信息分布结构是什么？如何实现有意义的可视化？
• RQ3 隐藏单元与词的共聚类能否揭示 RNN 记忆表征中的可解释模式？
• RQ4 可视化分析在支持 NLP 任务中不同 RNN 架构（如 GRU 与 LSTM）的诊断与比较方面，效果如何？
• RQ5 可视化工具如 RNNVis 在多大程度上能提升模型可解释性，并支持深度学习中的专家假设检验？

主要发现

• 所有专家参与者在情感分析案例研究中均正确识别出性能更优的模型，归因于 RNNVis 揭示了对负面情感词更强的捕捉能力。
• 专家一致确认系统的可用性与有效性，其中 P2 指出其支持灵活的假设验证，P1 强调其在训练日志之外的调试价值。
• 基于图标的可视化有效传达了句子级别的 RNN 行为，共聚类结果（记忆芯片与词云）使隐藏状态中的功能聚类得以直观发现。
• 专家在经历初始学习曲线后报告认知负荷较低，P4 赞扬系统在美学与交互设计方面的优势。
• 反馈表明，RNNVis 支持模型比较，例如揭示了 LSTM 在长期依赖性处理方面优于普通 RNN 的能力。
• 专家建议未来版本可增加对训练指标的程序化访问、集成推理结果，并支持注意力机制与记忆网络。