[论文解读] Reducing the dilution: An analysis of the information sensitiveness of capsule network with a practical improvement method

Zonglin Yang, Xinggang Wang|arXiv (Cornell University)|Mar 25, 2019

Advanced Malware Detection Techniques参考文献 10被引用 8

一句话总结

本文将胶囊网络在复杂数据集上表现不佳的关键原因归因于其信息敏感性与主胶囊层中非判别性胶囊的过度激活之间的冲突。提出两种简单、高效的正则化方法——CI-squash 和 Power-Activated（PA）squashing，通过抑制低能量胶囊来增强判别性特征学习，在多个数据集上实现一致的性能提升，包括 CIFAR-10，误差率降低至 14.31%，并实现显著的参数量减少。

ABSTRACT

Capsule network has shown various advantages over convolutional neural network (CNN). It keeps more precise spatial information than CNN and uses equivariance instead of invariance during inference and highly potential to be a new effective tool for visual tasks. However, the current capsule networks have incompatible performance with CNN when facing datasets with background and complex target objects and are lacking in universal and efficient regularization method. We analyze a main reason of the incompatible performance as the conflict between information sensitiveness of capsule network and unreasonably higher activation value distribution of capsules in primary capsule layer. Correspondingly, we propose a practical improvement method by restraining the activation value of capsules in primary capsule layer to suppress non-informative capsules and highlight discriminative capsules. In the experiments, the method has achieved better performances on various mainstream datasets. In addition, the proposed improvement methods can be seen as a suitable, simple and efficient regularization method that can be generally used in capsule network.

研究动机与目标

• 分析胶囊网络在 CIFAR-10 等复杂数据集上表现不佳的原因，相较于卷积神经网络（CNNs）的理论优势。
• 将根本原因识别为胶囊网络的信息敏感性与主胶囊层中不合理的高激活值分布之间的冲突。
• 提出一种实用、简单且高效的正则化方法，通过抑制非信息性胶囊来增强判别性特征学习。
• 证明所提出的方法在胶囊网络中优于传统的正则化技术（如 dropout 和权重衰减）。

提出的方法

• 引入 CI-squash，一种改进的 squash 函数，基于固定阈值（bar value）的机制，用于抑制低激活能量的胶囊。
• 提出 Power-Activated（PA）squashing，通过在胶囊激活上应用幂函数，突出高能量、判别性胶囊，同时抑制低能量、非信息性胶囊。
• 将方法应用于主胶囊层，以在路由前控制激活分布，确保仅相关空间特征向前传播。
• 在 CI-squash 中使用固定阈值（例如 6.5），并在 PA 中调节幂参数（n）以优化性能。
• 在不同主胶囊数量（8 和 64）的胶囊网络上验证方法的鲁棒性与效率。
• 在多个数据集（包括 CIFAR-10）上将所提方法与标准正则化技术（如 dropout 和 weight decay）进行比较。

实验结果

研究问题

• RQ1 尽管在空间和等变表示方面具有理论优势，为何胶囊网络在 CIFAR-10 等复杂数据集上表现不佳？
• RQ2 主胶囊层中的激活值分布如何影响网络区分相关特征与背景特征的能力？
• RQ3 对 squash 函数进行一种简单、非计算性的修改，是否能提升胶囊网络性能而不增加模型复杂度？
• RQ4 CI-squash 和 PA squashing 是否作为胶囊网络的有效正则化方法，尤其与标准技术（如 dropout 和 weight decay）相比？
• RQ5 所提方法是否能在保持或提升性能的同时，实现显著的参数量减少？

主要发现

• 所提的 CI-squash 和 PA squashing 方法将 CIFAR-10 上的误差率降低至 14.31%，显著优于原始胶囊网络（16.15%）和标准正则化方法。
• 当 n=6 时，PA squashing 取得最佳性能，表明其在抑制非判别性胶囊的同时，能最优地保留信息性特征。
• 该方法在不同主胶囊层数下均表现稳健，PA squashing 仅用 8 层即可达到使用 64 层胶囊网络的性能。
• 传统正则化方法（如 dropout 和 weight decay）反而会降低胶囊网络性能，表明其不适用于该网络架构。
• CI-squash 和 PA squashing 即使在极少超参数调优下也表现有效，表明其作为胶囊网络实用且通用的正则化工具。
• 通过将 64 个主胶囊替换为仅 8 个，该方法可实现接近 7/8 的参数量与计算量减少，且性能无损失。