[论文解读] Phase Harmonics and Correlation Invariants in Convolutional Neural Networks.

Stéphane Mallat, Sixin Zhang+1 more|arXiv (Cornell University)|Oct 29, 2018

Neural Networks and Applications参考文献 12被引用 5

一句话总结

本文引入了相位谐波——通过卷积神经网络系数的复解析延拓进行傅里叶变换得到——作为单层CNN中相关矩阵的稀疏、Lipschitz连续表示。结果表明，相位谐波相关性可仅利用少量谐波便实现对一维信号和图像的高度精确重建，尤其当滤波器为小波时效果更佳。

ABSTRACT

We prove that linear rectifiers act as phase transformations on complex analytic extensions of convolutional network coefficients. These phase transformations are linearized over a set of phase harmonics, computed with a Fourier transform. The correlation matrix of one-layer convolutional network coefficients is a translation invariant representation, which is used to build statistical models of stationary processes. We prove that it is Lipschitz continuous and that it has a sparse representation over phase harmonics. When network filters are wavelets, phase harmonic correlations provide important information about phase alignments across scales. We demonstrate numerically that large classes of one-dimensional signals and images are precisely reconstructed with a small fraction of phase harmonic correlations.

研究动机与目标

• 建立CNN中线性整流函数与网络系数复解析延拓上相位变换之间的理论框架。
• 利用相位谐波为单层CNN开发一种平移不变、Lipschitz连续的相关性表示。
• 证明当滤波器为小波时，相位谐波相关性可捕捉跨尺度的关键结构信息。
• 表明仅使用最小数量的相位谐波相关性即可实现信号与图像的高保真重建。

提出的方法

• 对卷积神经网络系数进行复解析延拓，以建模其在线性整流函数作用下的相位行为。
• 通过在复值系数表示上进行傅里叶变换来计算相位谐波。
• 将网络系数的相关矩阵表示为一种在平移下不变的表示，对平移保持不变。
• 证明相关矩阵关于输入扰动的Lipschitz连续性。
• 在相位谐波基上建立相关矩阵的稀疏表示。
• 使用小波滤波器通过相位谐波相关性分析跨尺度的相位对齐。

实验结果

研究问题

• RQ1 当CNN中的线性整流函数作用于网络系数的复解析延拓时，其相位结构如何变化？
• RQ2 单层CNN系数的相关矩阵能否表示为相位谐波的稀疏组合？
• RQ3 相位谐波相关性在捕捉基于小波滤波器的尺度间相位对齐中起什么作用？
• RQ4 仅使用少量相位谐波相关性，信号与图像能在多大程度上被重建？
• RQ5 CNN系数的相关矩阵在输入变化下是否具有Lipschitz连续性？

主要发现

• 线性整流函数在CNN系数的复解析延拓上诱导出相位变换，这些变换可通过傅里叶分析在相位谐波上实现线性化。
• 证明了单层CNN系数的相关矩阵关于输入扰动具有Lipschitz连续性。
• 相关矩阵在相位谐波基上可实现稀疏表示，从而实现高效建模。
• 当滤波器为小波时，相位谐波相关性揭示了跨尺度的关键相位对齐信息。
• 数值实验表明，仅使用少量相位谐波相关性即可对一大类一维信号和图像实现高保真重建。