[论文解读] The Heterogeneity Hypothesis: Finding Layer-Wise Dissimilated Network Architecture.

Yawei Li, Wen Li+5 more|arXiv (Cornell University)|Jun 29, 2020

Advanced Neural Network Applications参考文献 26被引用 4

一句话总结

本文提出了'异质性假设'，指出通过剪枝宽化基线网络所构建的逐层异质化网络架构（LW-DNA）在模型复杂度更低的情况下，性能优于标准架构。该方法在无需额外训练成本的前提下，识别出最优的、逐层特定的通道配置，且在图像分类、视觉追踪和图像恢复任务中持续优于基线模型。

ABSTRACT

In this paper, we tackle the problem of convolutional neural network design. Instead of focusing on the overall architecture design, we investigate a design space that is usually overlooked, \ie adjusting the channel configurations of predefined networks. We find that this adjustment can be achieved by pruning widened baseline networks and leads to superior performance. Base on that, we articulate the ``heterogeneity hypothesis'': with the same training protocol, there exists a layer-wise dissimilated network architecture (LW-DNA) that can outperform the original network with regular channel configurations under lower level of model complexity. The LW-DNA models are identified without added computational cost and training time compared with the original network. This constraint leads to controlled experiment which directs the focus to the importance of layer-wise specific channel configurations. Multiple sources of hints relate the benefits of LW-DNA models to overfitting, \ie the relative relationship between model complexity and dataset size. Experiments are conducted on various networks and datasets for image classification, visual tracking and image restoration. The resultant LW-DNA models consistently outperform the compared baseline models.

研究动机与目标

• 探究卷积神经网络中通道配置调整这一尚未充分探索的设计空间。
• 解决标准网络设计中各层采用固定、统一通道配置的局限性。
• 确定逐层特定的通道配置是否能在降低复杂度的同时实现更优性能。
• 验证性能提升源于泛化能力的改善，特别是与数据集规模和模型复杂度的关系。
• 开发一种无需增加训练成本或计算开销即可识别高性能LW-DNA模型的方法。

提出的方法

• 通过剪枝宽化基线网络，识别出具有优化通道配置的逐层异质化网络架构（LW-DNA）。
• 在所有模型上采用一致的训练协议，以隔离通道配置对性能的影响。
• 采用与原始网络相同的训练设置，确保LW-DNA识别过程不增加训练成本或时间。
• 分析模型复杂度与数据集规模之间的关系，以解释因减少过拟合而带来的性能提升。
• 在多种架构和数据集上系统评估LW-DNA模型，以验证其泛化能力。
• 利用过拟合动态的洞察，指导逐层特定通道配置的选择。

实验结果

研究问题

• RQ1 逐层异质化网络架构（LW-DNA）是否能在更低模型复杂度下实现优于标准架构的性能？
• RQ2 LW-DNA的性能提升是否源于泛化能力的改善，特别是与数据集规模和模型复杂度的关系？
• RQ3 与原始网络相比，是否可以无需额外训练成本或计算开销即可识别LW-DNA？
• RQ4 模型复杂度与数据集规模之间的相对关系如何影响LW-DNA的有效性？
• RQ5 LW-DNA模型在图像分类、视觉追踪和图像恢复等不同任务中的泛化能力如何？

主要发现

• LW-DNA模型在多个图像分类基准上持续优于标准基线网络。
• 所提出方法在不增加训练时间或计算成本的前提下，识别出高性能的LW-DNA架构。
• 性能提升归因于减少的过拟合，尤其在模型复杂度与数据集规模相匹配时更为显著。
• 异质性假设得到验证：存在一种逐层异质化架构，其性能优于原始网络且复杂度更低。
• 在视觉追踪和图像恢复等多样化任务上的实验，证实了LW-DNA模型的鲁棒性与泛化能力。
• 该方法揭示了最优通道配置具有逐层特异性，无法通过统一、对称的设计捕捉。