[论文解读] Neural Network Encapsulation

Hongyang Li, Xiaoyang Guo+3 more|arXiv (Cornell University)|Aug 11, 2018

Advanced Neural Network Applications参考文献 24被引用 4

一句话总结

该论文提出 EncapNet，一种胶囊网络架构，用一种快速、一次性、有监督的主从路由机制替代胶囊网络中计算量大的迭代路由。此外，该方法引入基于最优传输散度的反馈一致性单元以正则化特征学习，在强数据增强下于 CIFAR-10/100、SVHN 和 ImageNet 的一个子集上实现了最先进性能，错误率分别为 3.10%、24.01% 和 40.05%。

ABSTRACT

A capsule is a collection of neurons which represents different variants of a pattern in the network. The routing scheme ensures only certain capsules which resemble lower counterparts in the higher layer should be activated. However, the computational complexity becomes a bottleneck for scaling up to larger networks, as lower capsules need to correspond to each and every higher capsule. To resolve this limitation, we approximate the routing process with two branches: a master branch which collects primary information from its direct contact in the lower layer and an aide branch that replenishes master based on pattern variants encoded in other lower capsules. Compared with previous iterative and unsupervised routing scheme, these two branches are communicated in a fast, supervised and one-time pass fashion. The complexity and runtime of the model are therefore decreased by a large margin. Motivated by the routing to make higher capsule have agreement with lower capsule, we extend the mechanism as a compensation for the rapid loss of information in nearby layers. We devise a feedback agreement unit to send back higher capsules as feedback. It could be regarded as an additional regularization to the network. The feedback agreement is achieved by comparing the optimal transport divergence between two distributions (lower and higher capsules). Such an add-on witnesses a unanimous gain in both capsule and vanilla networks. Our proposed EncapNet performs favorably better against previous state-of-the-arts on CIFAR10/100, SVHN and a subset of ImageNet.

研究动机与目标

• 为解决胶囊网络中迭代路由带来的高计算复杂度问题，该方法在网络深度增加时仍能保持良好扩展性。
• 通过双分支路由机制，使低层胶囊能更有效地贡献于高层胶囊激活，从而改善特征表示。
• 通过引入基于最优传输散度的反馈正则化机制，减少深层网络中的信息损失。
• 通过轻量级可训练反馈单元增强胶囊网络与普通 CNN 的性能，强制实现层间的一致性。

提出的方法

• 引入主从路由机制：主干分支使用直接的低层胶囊，而辅助分支在通道间搜索模式变体以补充信息。
• 通过一次有监督前向传播训练主干与辅助分支，替代传统胶囊网络中的迭代无监督路由。
• 设计反馈一致性单元，将高层胶囊输出作为监督信号反馈至低层。
• 使用最优传输散度（Sinkhorn 损失）衡量低层与高层胶囊特征之间的分布距离，并在训练过程中最小化该距离。
• 将反馈单元作为可微分正则化损失集成到训练过程中，推理阶段移除该模块。
• 在卷积胶囊层（capConv）中实现该方法，支持使用标准反向传播的端到端训练。

实验结果

研究问题

• RQ1 一次通过的有监督路由机制是否能在显著降低计算成本的同时近似达到迭代路由的性能？
• RQ2 从高层胶囊向低层胶囊引入反馈信号是否能改善胶囊网络中的特征学习与泛化能力？
• RQ3 最优传输散度能否作为深层网络中层间一致性的有效正则化度量？
• RQ4 所提出的反馈机制是否不仅能提升胶囊网络性能，也能提升标准 CNN 的性能？

主要发现

• 在 CIFAR-10 上，EncapNet 的测试错误率为 3.10%，在强数据增强下优于以往最先进方法。
• 在 CIFAR-100 上，EncapNet 达到 24.01% 的错误率，显著优于以往基于胶囊网络的模型。
• 在 SVHN 上，EncapNet 实现 1.52% 的错误率，展现出在数字识别任务上的强大泛化能力。
• 在 ImageNet 的一个子集（h-ImageNet）上，EncapNet_v3++ 达到 40.05% 的 top-1 错误率，超过第二名 WRN 模型的 42.51%。
• 反馈一致性单元在胶囊网络与普通 CNN 上均提升了性能，表明其作为正则化技术具有良好的通用性。
• 消融实验确认，特征提取器、最优传输散度以及主从交互机制对性能均至关重要，其缺失会导致错误率显著上升。