[论文解读] PolyNet: A Pursuit of Structural Diversity in Very Deep Networks

Xingcheng Zhang, Zhizhong Li+2 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Neural Network Applications参考文献 26被引用 38

一句话总结

本文提出 PolyInception，一种新型的结构化模块家族，通过架构多样性而非单纯增加深度或宽度来提升深度神经网络的性能。通过并行或级联配置集成多个类似 Inception 的路径，PolyInception 实现了更丰富的表征能力，同时保持计算效率。由此构建的 Very Deep PolyNet 在 ImageNet ILSVRC 2012 上实现了 SOTA 的 top-5 验证误差率，单图裁剪为 4.25%，多图裁剪为 3.45%，在相同计算预算下优于 Inception-ResNet-v2 和更深的 ResNet 变体。

ABSTRACT

A number of studies have shown that increasing the depth or width of convolutional networks is a rewarding approach to improve the performance of image recognition. In our study, however, we observed difficulties along both directions. On one hand, the pursuit for very deep networks is met with a diminishing return and increased training difficulty; on the other hand, widening a network would result in a quadratic growth in both computational cost and memory demand. These difficulties motivate us to explore structural diversity in designing deep networks, a new dimension beyond just depth and width. Specifically, we present a new family of modules, namely the PolyInception, which can be flexibly inserted in isolation or in a composition as replacements of different parts of a network. Choosing PolyInception modules with the guidance of architectural efficiency can improve the expressive power while preserving comparable computational cost. The Very Deep PolyNet, designed following this direction, demonstrates substantial improvements over the state-of-the-art on the ILSVRC 2012 benchmark. Compared to Inception-ResNet-v2, it reduces the top-5 validation error on single crops from 4.9% to 4.25%, and that on multi-crops from 3.7% to 3.45%.

研究动机与目标

• 探究架构多样性作为深度网络设计中超越深度与宽度的全新维度。
• 解决因增加网络深度或宽度而带来的收益递减及计算量二次增长问题。
• 开发一类新型模块化构建块，以提升表征能力而不带来成比例的成本增加。
• 设计一种极深的网络架构——Very Deep PolyNet，实现在 ImageNet ILSVRC 2012 上的 SOTA 性能。

提出的方法

• 提出 PolyInception 模块作为 Inception 单元的多项式组合，通过并行或级联配置集成多条路径。
• 设计 PolyInception 模块为灵活的构建块，可替代或插入现有网络组件。
• 采用架构效率度量指标，指导在不同网络阶段选择最优的 PolyInception 配置。
• 使用自适应随机深度正则化以缓解极深 PolyNet 架构中的过拟合问题。
• 构建包含三个阶段的 Very Deep PolyNet，各阶段在不同空间分辨率下运行，每个阶段均采用精心挑选的 PolyInception 模块。
• 开展系统的消融研究，比较在不同计算约束下各种模块配置的性能与成本。

实验结果

研究问题

• RQ1 网络架构中的结构多样性是否能带来优于单纯增加深度或宽度的性能提升？
• RQ2 如何最优地将结构多样性融入深度网络以最大化性能增益？
• RQ3 在计算预算受限时，结构多样性相对于深度的扩展效率如何？
• RQ4 在极深网络中，架构多样性是否能提供优于仅增加深度的性能增益？
• RQ5 像 PolyInception 这类模块化、可重用的组件，能否用于设计更高效、更准确的深度网络？

主要发现

• Very Deep PolyNet 在 ImageNet ILSVRC 2012 单图裁剪验证中实现 top-5 错误率为 4.25%，显著优于 Inception-ResNet-v2 的 4.9%。
• 在多图评估中，Very Deep PolyNet 将 top-5 错误率降低至 3.45%，优于 Inception-ResNet-v2 的 3.7%。
• 该模型在参数量更少（92M）且计算预算相同的情况下，性能优于更深的 Inception-ResNet-v2 变体（133M 参数）。
• 在计算预算受限时，结构多样性相较于仅增加深度具有更优的扩展效率，尤其在超过 4000 ms/iter 时，性能增益更大。
• PolyInception 模块即使在极深网络中也能带来显著的性能提升，如图 11 所示的性能曲线所示。
• 消融研究证实，在相同计算预算下，采用 Inception 块的架构通常优于标准 ResNet 架构，支持结构多样性的价值。