[论文解读] Sparse Unsupervised Capsules Generalize Better

David Rawlinson, Abdelrahman Ahmed+1 more|arXiv (Cornell University)|Apr 17, 2018

Imbalanced Data Classification Techniques参考文献 23被引用 47

一句话总结

本文表明在无监督胶囊训练中去除有监督掩蔽会降低胶囊属性；引入稀疏无监督训练则可恢复这些属性并提高对 affNIST 的泛化能力，在使用 SVM 分类器时最高可达到 90.12%。

ABSTRACT

We show that unsupervised training of latent capsule layers using only the reconstruction loss, without masking to select the correct output class, causes a loss of equivariances and other desirable capsule qualities. This implies that supervised capsules networks can't be very deep. Unsupervised sparsening of latent capsule layer activity both restores these qualities and appears to generalize better than supervised masking, while potentially enabling deeper capsules networks. We train a sparse, unsupervised capsules network of similar geometry to Sabour et al (2017) on MNIST, and then test classification accuracy on affNIST using an SVM layer. Accuracy is improved from benchmark 79% to 90%.

研究动机与目标

• 研究潜在胶囊层的无监督训练如何影响胶囊特性及泛化能力。
• 确定稀疏性是否能够在无有监督掩蔽的情况下恢复胶囊特定的等变性。
• 比较稀疏无监督胶囊网络与有监督掩蔽方法在 MNIST/affNIST 上的表现。
• 评估带外部分类器的稀疏无监督胶囊的泛化性能。

提出的方法

• 修改 SUPCAPS 架构以移除掩蔽和边际损失并观察退化。
• 引入稀疏训练方案，仅有前 k 个潜在胶囊（按路由支持度排序）对输出有贡献。
• 应用在线生命周期稀疏性约束，确保所有胶囊随时间参与。
• 计算每个批次和每张图像的胶囊激活以通过基于排序的掩码 m_jk 强制实现稀疏性。
• 在 MNIST 上训练，并使用 SVM 分类器对胶囊输出进行评估以衡量对 affNIST 的泛化。
• 提供重建和路由分析，以便与密集无监督和有监督容量基线进行比较。

实验结果

研究问题

• RQ1 可以在没有掩蔽的情况下进行潜在胶囊的无监督训练，是否能保持胶囊特定的等变性和路由动态？
• RQ2 稀疏潜在胶囊活动是否能恢复期望的胶囊属性并提升对仿射变换数据的泛化？
• RQ3 稀疏无监督 SPARSECAPS 相对于 SUPCAPS 及传统 CNN 在 MNIST/affNIST 上的比较如何？
• RQ4 生命周期稀疏性约束对胶囊利用率和性能有何影响？

主要发现

算法	MNIST	affNIST
Conventional ConvNet (Sabour et al., 2017)	99.22%	66%
SUPCAPS (Sabour et al., 2017)	99.23%	79%
SPARSECAPS + SVM (a)	99%	90.12%
SPARSECAPS + SVM (b)	99%	16.99%
Unmasked SPARSECAPS + SVM (a)	97.37%	60.63%
Unmasked SPARSECAPS + SVM (b)	97.37%	15.70%

• 在没有稀疏性的情况下，密集无监督胶囊会失去等变性和路由选择性，在 affNIST 上表现较差。
• 稀疏无监督训练重新确立了胶囊特化和动态路由，提升了泛化能力。
• SPARSECAPS 加上 SVM 分类器在 affNIST 上达到 90.12%，训练自 MNIST（相较于 SUPCAPS 的 79%）。
• 未掩蔽的密集无监督胶囊表现较差（affNIST 约 60.63% 或在不同设置下 15.70%）。
• K-sparse 风格的掩蔽结果大约只有一个完全活跃的潜在胶囊，少数胶囊部分活跃，达到容量与专门化的平衡。
• 在稀疏潜在胶囊中观察到的等变性包含笔画宽度、倾斜和形态变化等，表明潜在因子的意义性。