[论文解读] What Does a TextCNN Learn?

Linyuan Gong, Ruyi Ji|arXiv (Cornell University)|Jan 19, 2018

Topic Modeling参考文献 3被引用 4

一句话总结

本文通过分析TREC和SST数据集上卷积核的激活模式，研究了TextCNN所学习的内容。结合n-gram敏感性分析与核相关性度量，研究发现卷积核学习了与标签相关的特征、通用语法/主题模式，并表现出强烈的核间协作，尤其是在深层网络中，为TextCNN内部表征提供了可解释性洞察。

ABSTRACT

TextCNN, the convolutional neural network for text, is a useful deep learning algorithm for sentence classification tasks such as sentiment analysis and question classification. However, neural networks have long been known as black boxes because interpreting them is a challenging task. Researchers have developed several tools to understand a CNN for image classification by deep visualization, but research about deep TextCNNs is still insufficient. In this paper, we are trying to understand what a TextCNN learns on two classical NLP datasets. Our work focuses on functions of different convolutional kernels and correlations between convolutional kernels.

研究动机与目标

• 解释TextCNN的内部表征，TextCNN是句子分类任务中广泛使用的模型。
• 理解单个卷积核所学习的特征，特别是其与文本分类标签的关系。
• 分析核之间的相关性，以揭示功能关系及潜在冗余性。
• 研究第一层与第二层卷积核在功能上的差异。
• 提供超越黑箱性能的、可量化且可解释的TextCNN学习表征分析。

提出的方法

• 从训练数据中提取所有n-gram，并将其输入每个卷积核，记录批量归一化和ReLU之后的激活值。
• 根据激活最强的前三个n-gram对每个核进行标注：若它们属于同一类别，则分配该类别；否则标注为“其他”。
• 计算核激活向量之间的皮尔逊积矩相关系数，以度量功能相似性。
• 通过按n-gram关键词排序的激活图可视化核相关性，以验证相关性度量结果。
• 识别“桥接”核：即与两组原本不相关核（r < 0.1）均高度相关（r > 0.4）的核。
• 在两个数据集上应用该方法：TREC（问题分类）和SST（情感分析），使用预训练的Word2Vec嵌入和静态权重。

实验结果

研究问题

• RQ1 TextCNN中的单个卷积核学习了哪些语言学特征？
• RQ2 从标签特异性和普遍性角度看，第一层与第二层卷积核的功能有何不同？
• RQ3 核之间的相关性程度如何？这反映了功能冗余还是协作？
• RQ4 能否通过连接无关核对的“桥接”核揭示共享的语义或句法模式？
• RQ5 核的行为如何反映分类任务的内在结构？

主要发现

• 超过一半的核表现出标签特异性行为，表明网络中存在功能专业化与分工。
• 每类对应的核数量差异显著：HUM和NUM类需要的核比ABBR类更多，反映出识别难度的差异。
• “其他”类核学习的是通用特征，如语法模式（例如，'is/are an adj. noun'）或一般主题（如'drama'或'nation-related'概念）。
• 相关性分析显示，第二层核的相关性更强（例如，有619对r > 0.8），表明其协作程度更高。
• 第二层包含显著更多的“桥接”核（1,642个），远超第一层（42个），表明深层网络中核间协作更强。
• 连接不同类别（如HUM与NUM）的“桥接”核揭示了仅从标签本身难以察觉的共享句法或语义模式。