[论文解读] Understanding Geometry of Encoder-Decoder CNNs

Jong Chul Ye, Woon Kyoung Sung|arXiv (Cornell University)|Jan 22, 2019

Neural Networks and Applications被引用 23

一句话总结

本文提出了一套统一的理论框架，通过组合卷积帧将编码器-解码器CNN与非线性帧表示联系起来，揭示了其深度带来的指数级表达能力。研究发现，跳跃连接可提升优化景观的平滑性与泛化能力，而Lipschitz常数并不限制表达能力，为这些网络在MRI和CT重建等反问题中表现优异提供了几何洞察。

ABSTRACT

Encoder-decoder networks using convolutional neural network (CNN) architecture have been extensively used in deep learning literatures thanks to its excellent performance for various inverse problems. However, it is still difficult to obtain coherent geometric view why such an architecture gives the desired performance. Inspired by recent theoretical understanding on generalizability, expressivity and optimization landscape of neural networks, as well as the theory of convolutional framelets, here we provide a unified theoretical framework that leads to a better understanding of geometry of encoder-decoder CNNs. Our unified mathematical framework shows that encoder-decoder CNN architecture is closely related to nonlinear basis representation using combinatorial convolution frames, whose expressibility increases exponentially with the network depth. We also demonstrate the importance of skipped connection in terms of expressibility, and optimization landscape.

研究动机与目标

• 为了从几何角度理解编码器-解码器CNN为何在MRI和CT重建等反问题中表现优异。
• 通过将编码器-解码器网络建模为具有组合空间可变卷积的深层卷积框架，统一深度学习理论与信号处理理论。
• 利用微分拓扑和框架理论的理论工具，分析这些网络的表达能力、泛化能力及优化景观。
• 证明跳跃连接在ReLU非线性下对优化景观和平滑性的重要作用，尤其在提升表达能力方面。
• 通过将深层网络的指数级表达能力与ReLU架构中的组合框架选择相联系，解决其表达能力指数增长之谜。

提出的方法

• 基于微分拓扑，将编码器-解码器CNN形式化为高维嵌入后接光滑流形之间的商映射。
• 利用基于ReLU的、空间可变的卷积构建的组合框架，将网络建模为深层卷积框架。
• 推导出一种显式的Lipschitz条件，该条件与Lipschitz常数无关，表明泛化能力不受该控制的限制。
• 提出一种新颖的基于Jacobian的分析方法，适用于带跳跃连接的ReLU激活网络，证明仅当预测结果与真实值匹配时，损失才可能为零。
• 通过特征矩阵和中间表示的秩假设，建立良性优化景观的条件。
• 将先前关于优化的成果推广至带跳跃连接的ReLU基编码器-解码器网络，放宽了早期分析中对网络结构的假设。

实验结果

研究问题

• RQ1 编码器-解码器CNN的架构如何在几何上与信号表示和重建相关联？
• RQ2 深层编码器-解码器网络中观察到的指数级表达能力的根源是什么？
• RQ3 为何跳跃连接能显著改善ReLU基编码器-解码器网络的优化景观？
• RQ4 能否将这些网络的泛化能力与Lipschitz控制解耦？
• RQ5 在何种条件下，编码器-解码器CNN的优化景观会变得良性？

主要发现

• 过参数化的特征编码器-解码器CNN通过高维嵌入后接商映射，近似于光滑流形之间的映射。
• 由于ReLU基卷积层中组合框架的选择，网络的表达能力随深度呈指数增长。
• Lipschitz常数并不限制表达能力，且泛化能力不受Lipschitz正则化控制。
• 跳跃连接通过保持中间特征矩阵的满行秩，确保优化景观良性，仅当预测结果正确时才能实现零损失。
• 理论分析证实，即使在ReLU非线性下，跳跃连接也能平滑优化景观，且相比先前工作，假设条件更宽松。
• 在MRI和超声成像中的实证验证支持了该理论框架，表明特定领域帧表示（如k空间或原始数据）可提升模型设计。