[论文解读] Text Classification using Capsules

Jaeyoung Kim, Sion Jang+2 more|arXiv (Cornell University)|Aug 12, 2018

Text and Document Classification Technologies参考文献 29被引用 65

一句话总结

该论文研究将胶囊网络应用于文本分类，提出带 ELU 门控的静态路由变体，并在七个基准数据集上相对于 CNN 基线展示出有竞争力的结果。

ABSTRACT

This paper presents an empirical exploration of the use of capsule networks for text classification. While it has been shown that capsule networks are effective for image classification, their validity in the domain of text has not been explored. In this paper, we show that capsule networks indeed have the potential for text classification and that they have several advantages over convolutional neural networks. We further suggest a simple routing method that effectively reduces the computational complexity of dynamic routing. We utilized seven benchmark datasets to demonstrate that capsule networks, along with the proposed routing method provide comparable results.

研究动机与目标

• 证明胶囊网络能够有效地执行文本分类。
• 引入静态路由变体，作为文本数据动态路由的替代方案。
• 提出 ELU-gate 作为一种在不丢失空间上下文的情况下传播相关信息的机制。
• 在七个标准文本分类数据集上评估性能，与CNN基线进行比较。

提出的方法

• 通过卷积胶囊将文档映射到向量，并通过最终文本胶囊层，将胶囊网络应用于文本。
• 使用门控机制（ELU-gate）在不依赖池化的情况下选择激活特征。
• 在卷积胶囊和文本胶囊之间实现两种路由方案：动态路由（如 Sabour 等人所述）和提出的静态路由。
• 在卷积胶囊层中增大核大小以扩大感受野并避免池化。
• 使用预处理的 GloVe 词向量进行训练并与 CNN 基线进行比较；在七个数据集上报告准确率。

实验结果

研究问题

• RQ1 胶囊网络是否能够在标准基准上达到与 CNN 相竞争的文本分类准确率？
• RQ2 就准确性和计算效率而言，静态路由在文本分类中是否优于动态路由？
• RQ3 架构选择（ELU-gate、大核卷积胶囊）对文本数据的表现有何影响？
• RQ4 基于胶囊的模型在多样化数据集（如新闻、情感、问答）上的表现如何？

主要发现

Model	20news	Reuters10	MR (2004)	MR (2005)	TREC-QA	MPQA	IMDb
CapsNet-dynamic-routing	86.45	86.72	88.1	81.00	93.80	89.60	89.80
CapsNet-static-routing	87.17	87.52	89.6	80.98	94.84	90.57	89.72
CNN-non-static*	86.6	87.4	88.0	81.3	92.7	89.9	90.36

• 具备动态路由和静态路由的胶囊网络在七个数据集上相对于 CNN 基线取得有竞争力的准确率。
• 静态路由在所评估的数据集上通常比动态路由具有更高的准确率。
• 静态路由在保持或提升文本分类性能的同时降低了计算复杂度。
• ELU-gate 消融实验显示比不带门控的变体有更高的准确率，表明信息保留特征选择的好处。
• 在 20news、Reuters10、MR(2004)、MR(2005)、TREC-QA、MPQA 和 IMDb 上，CapsNet-static-routing 的准确率分别为 87.17、87.52、89.6、80.98、94.84、90.57、89.72；CapsNet-dynamic-routing 的准确率分别为 86.45、86.72、88.1、81.00、93.80、89.60、89.80；CNN-non-static* 的准确率分别为 86.6、87.4、88.0、81.3、92.7、89.9、90.36。