[论文解读] Multiresolution Convolutional Autoencoders

Yuying Liu, Colin Ponce+2 more|arXiv (Cornell University)|Apr 10, 2020

Model Reduction and Neural Networks参考文献 41被引用 12

一句话总结

该论文提出了一种多分辨率卷积自编码器（MrCAE），通过分层、迁移学习增强的方式动态优化网络架构与数据分辨率，以捕捉多尺度时空特征。通过从低分辨率数据开始，逐步加深和拓宽网络并迁移已学习的表征，MrCAE 在标准自编码器的基础上实现了更紧凑、更精确的重建，同时提升了效率。

ABSTRACT

We propose a multi-resolution convolutional autoencoder (MrCAE) architecture that integrates and leverages three highly successful mathematical architectures: (i) multigrid methods, (ii) convolutional autoencoders and (iii) transfer learning. The method provides an adaptive, hierarchical architecture that capitalizes on a progressive training approach for multiscale spatio-temporal data. This framework allows for inputs across multiple scales: starting from a compact (small number of weights) network architecture and low-resolution data, our network progressively deepens and widens itself in a principled manner to encode new information in the higher resolution data based on its current performance of reconstruction. Basic transfer learning techniques are applied to ensure information learned from previous training steps can be rapidly transferred to the larger network. As a result, the network can dynamically capture different scaled features at different depths of the network. The performance gains of this adaptive multiscale architecture are illustrated through a sequence of numerical experiments on synthetic examples and real-world spatial-temporal data.

研究动机与目标

• 解决在复杂系统中同时存在并相互作用的微观尺度与宏观尺度特征时，建模多尺度时空动态的挑战。
• 通过整合多网格与迁移学习原理，克服标准卷积自编码器在捕捉大尺度、低维结构方面的局限性。
• 开发一种动态自适应架构，根据重建性能与数据分辨率，逐步优化网络深度与宽度。
• 通过有原则的分层优化与知识迁移，实现高维时空数据的高效、紧凑编码。
• 提供一种可扩展、可解释的多尺度表征学习框架，支持预测与模型发现等下游任务。

提出的方法

• MrCAE 采用分层、渐进式的训练策略，从低分辨率数据和最小网络结构开始，根据需要动态加深和拓宽网络。
• 网络扩展通过受控加深（增加卷积与转置卷积层）和拓宽（增加通道数）实现，滤波器通过下采样与插值算子初始化，以确保平滑过渡。
• 在扩展过程中应用迁移学习：将前一网络阶段的预训练权重迁移至新层，保留已学习特征并加速收敛。
• 网络采用基于残差的训练循环，结合自适应停止准则——当每十个周期的相对误差减少量低于 0.001 时，训练停止。
• 滤波器初始化采用基础算子（下采样时类似恒等算子，上采样时类似双三次算子），并添加微小随机噪声以打破对称性。
• 架构按阶段训练：每个阶段处理特定分辨率的数据，输出用于指导下一阶段的扩展与优化。

实验结果

研究问题

• RQ1 如何动态调整神经网络架构，以在不预先定义深度或宽度的情况下捕捉时空数据中的多尺度特征？
• RQ2 整合多网格原理与迁移学习在多尺度系统自编码中的效率与准确性方面，能提升到何种程度？
• RQ3 渐进式、分层训练策略是否能在保持高重建保真度的同时，减少参数数量与训练时间？
• RQ4 与标准卷积自编码器相比，MrCAE 在真实世界多尺度时空数据上的表现如何？
• RQ5 自适应网络扩展在跨尺度保留与迁移已学习表征方面起到何种作用？

主要发现

• 与标准卷积自编码器相比，MrCAE 在多尺度数据上实现了更优的重建精度，且参数显著更少。
• 由重建误差减少引导的渐进式网络扩展，可实现更快收敛并减少每阶段的训练时间。
• 网络扩展过程中应用迁移学习，确保架构变更期间性能下降最小化，并加速新阶段的训练。
• 该方法通过为不同网络层级分配不同尺度，成功捕捉了多空间与时间尺度的特征。
• 基于下采样与插值的滤波器初始化方法，实现了网络阶段间的平滑过渡，有效防止了重建伪影。
• 在合成与真实世界数据上的数值实验表明，MrCAE 在重建质量与模型紧凑性方面均优于基线模型。