[论文解读] Visualized Insights into the Optimization Landscape of Fully Convolutional Networks

Jianjie Lu, Raymond Kai‐Yu Tong|arXiv (Cornell University)|Jan 20, 2019

Advanced Neural Network Applications参考文献 27被引用 9

一句话总结

本文通过使用随机方向对训练模型周围的损失曲面进行投影，提供了全卷积网络（FCNs）优化景观的可视化洞察。结果表明，跳跃连接有助于形成更平坦、更具泛化能力的损失景观，而小批量训练会导致更平坦的极小值点及更平滑的区域，而大批次训练则导致尖锐的极小值点及混沌的邻域——为FCN架构中泛化性能差异提供了经验性解释。

ABSTRACT

Many image processing tasks involve image-to-image mapping, which can be addressed well by fully convolutional networks (FCN) without any heavy preprocessing. Although empirically designing and training FCNs can achieve satisfactory results, reasons for the improvement in performance are slightly ambiguous. Our study is to make progress in understanding their generalization abilities through visualizing the optimization landscapes. The visualization of objective functions is obtained by choosing a solution and projecting its vicinity onto a 3D space. We compare three FCN-based networks (two existing models and a new proposed in this paper for comparison) on multiple datasets. It has been observed in practice that the connections from the pre-pooled feature maps to the post-upsampled can achieve better results. We investigate the cause and provide experiments to shows that the skip-layer connections in FCN can promote flat optimization landscape, which is well known to generalize better. Additionally, we explore the relationship between the models generalization ability and loss surface under different batch sizes. Results show that large-batch training makes the model converge to sharp minimizers with chaotic vicinities while small-batch method leads the model to flat minimizers with smooth and nearly convex regions. Our work may contribute to insights and analysis for designing and training FCNs.

研究动机与目标

• 通过可视化其优化景观，理解全卷积网络（FCNs）的泛化行为。
• 研究跳跃层连接在塑造损失曲面几何结构中的作用。
• 分析批量大小如何影响FCNs收敛至尖锐或平坦极小值点的特性。
• 在多个数据集上比较不同FCN架构（如FCN-16s、FCN-8s、U-Net）的优化景观特性。

提出的方法

• 通过选取一个训练好的模型，并使用两个随机方向将其局部邻域投影到三维空间中，实现优化景观的可视化。
• 利用Cε度量量化损失曲面的尖锐程度，其定义为模型权重周围半径为ε的球形邻域内损失的平均值。
• 训练并比较了三种基于FCN的模型——FCN-16s、FCN-8s以及一个新提出的模型——在多个数据集上的表现，保持训练损失一致以隔离架构的影响。
• 对相同模型应用小批量（B2）和大批次（B16）训练方案，以比较其收敛行为及最终的损失曲面几何特性。
• 在固定分辨率（n=40）和减小的区域尺寸（r=0.025）下进行可视化，以增强清晰度并允许对极小值点平坦度进行直接比较。
• 在边缘检测和生物医学分割数据集上开展实验，以评估泛化性能及景观特性。

实验结果

研究问题

• RQ1 FCNs中的跳跃连接如何影响损失曲面的几何结构及泛化性能？
• RQ2 批量大小与FCNs中极小值点平坦度之间存在何种关系？
• RQ3 为何某些FCN架构在训练损失相近的情况下仍表现出更好的泛化性能？
• RQ4 可视化优化景观能否解释U-Net在电子显微镜分割任务中优于FCN-16s的性能？

主要发现

• 从早期高分辨率特征图到后期上采样层的跳跃连接，可导致更平坦的优化景观，这与更好的泛化性能相关。
• FCN-4s在ε=0.1时Cε=1.4904，表现出最平坦的景观，其次是FCN-8s（1.7724）和FCN-16s（2.1822），表明更细粒度的跳跃连接可提升泛化能力。
• 小批量训练（B2）始终导致更平坦的极小值点及更平滑、近乎凸的区域，而大批次训练（B16）则导致尖锐的极小值点及混沌、不规则的邻域。
• 对于FCN-16s，B2在ε=0.01时的平均Cε尖锐度为0.0252，而B16为0.0418，证实小批量训练可获得更平坦的极小值。
• U-Net在B2下获得更低的尖锐度值（ε=0.01时为0.0175），低于FCN-16s的0.0252，表明其架构更有利于形成平坦且更具泛化能力的解。
• 本研究提供了实证证据，表明更平坦的极小值点与更好的泛化性能相关，支持了优化景观几何结构影响FCNs泛化性能的假设。