[论文解读] ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method

Miles Everett, Mingjun Zhong+1 more|arXiv (Cornell University)|Jul 19, 2023

Interconnection Networks and SystemsComputer Science被引用 3

一句话总结

ProtoCaps 提出了一种基于原型软聚类的非迭代、可训练路由机制，显著降低了内存使用量和计算成本，同时保持了高性能。它在 Imagewoof 等具有挑战性的数据集上实现了最先进水平的结果，展现出超越迭代方法的可扩展性和效率。

ABSTRACT

Capsule Networks have emerged as a powerful class of deep learning architectures, known for robust performance with relatively few parameters compared to Convolutional Neural Networks (CNNs). However, their inherent efficiency is often overshadowed by their slow, iterative routing mechanisms which establish connections between Capsule layers, posing computational challenges resulting in an inability to scale. In this paper, we introduce a novel, non-iterative routing mechanism, inspired by trainable prototype clustering. This innovative approach aims to mitigate computational complexity, while retaining, if not enhancing, performance efficacy. Furthermore, we harness a shared Capsule subspace, negating the need to project each lower-level Capsule to each higher-level Capsule, thereby significantly reducing memory requisites during training. Our approach demonstrates superior results compared to the current best non-iterative Capsule Network and tests on the Imagewoof dataset, which is too computationally demanding to handle efficiently by iterative approaches. Our findings underscore the potential of our proposed methodology in enhancing the operational efficiency and performance of Capsule Networks, paving the way for their application in increasingly complex computational scenarios. Code is available at https://github.com/mileseverett/ProtoCaps.

研究动机与目标

• 为解决胶囊网络中迭代路由带来的高计算和内存开销问题，该问题限制了其在大规模数据集上的可扩展性。
• 开发一种非迭代路由机制，在降低训练复杂度的同时保持或提升性能。
• 通过引入共享胶囊子空间，减少每个胶囊的投影需求，从而降低内存开销。
• 在复杂、ImageNet规模的数据集（如 Imagewoof）上验证该方法，这些数据集因计算需求过高而使迭代方法无法适用。
• 为非迭代路由在胶囊网络中建立新的基准，实现更高的效率和可扩展性。

提出的方法

• 提出一种可训练的原型软聚类机制，以替代迭代路由，利用可学习的原型来确定路由系数。
• 引入一种共享胶囊子空间，使所有低层胶囊可被投影到同一空间，从而减少每个胶囊的投影开销。
• 采用直通路由方法，路由系数直接基于原型相似性计算，避免重复迭代。
• 使用路由函数 f，通过基于原型的注意力机制计算低层预测与高层胶囊特征之间的一致性。
• 在所有低层胶囊上应用共享变换矩阵至共享子空间，最大限度减少参数量和内存负载。
• 采用残差连接设计以稳定训练，尤其在深层架构中表现更优。

实验结果

研究问题

• RQ1 非迭代、可训练的路由机制是否能在准确率和效率上均优于现有的非迭代方法？
• RQ2 使用共享胶囊子空间是否能显著降低路由过程中的内存消耗，而不会牺牲性能？
• RQ3 所提出的方法是否能有效扩展到 Imagewoof 等大规模复杂数据集，而这些数据集对迭代路由方法而言计算上不可行？
• RQ4 ProtoCaps 在多种数据集上的性能与最先进水平的迭代和非迭代胶囊网络相比如何？
• RQ5 架构组件（如残差连接和主干网络选择）在多大程度上影响模型的可扩展性和鲁棒性？

主要发现

• ProtoCaps 在 Imagewoof 数据集上实现了 59.0% 的测试准确率，显著优于因计算限制而无法扩展到该数据集的迭代方法。
• 当从 Cifar10 扩展到 Imagewoof 时，该模型的 FLOPs 仅增加 2 倍，而 Self-Routing Capsule Networks (SRCaps) 的 FLOPs 增加了 10 倍，表明其具有更优的可扩展性。
• 残差连接在复杂数据集（如 Cifar10 和 Imagewoof）上提升最明显，在 Imagewoof 上实现了 20.9% 的准确率提升（从 38.1% 提升至 59.0%）。
• 使用 ResNet 主干网络相比 ConvNet 主干网络仅带来微小的性能增益（Imagewoof 上为 59.0% vs 56.4%），表明 ConvNet 主干网络是实时应用中可行且更快的替代方案。
• 该网络在 2–3 个胶囊层后趋于饱和，更深的架构不再带来性能提升，而其他胶囊网络在深度增加时性能会下降。
• 所提出的路由机制为非迭代胶囊网络设立了新的最先进基准，在速度和内存效率方面均优于现有方法。