[论文解读] Unifying local and non-local signal processing with graph CNNs

Gilles Puy, Srđan Kitić+1 more|arXiv (Cornell University)|Feb 24, 2017

Advanced Graph Neural Networks参考文献 17被引用 15

一句话总结

本文提出一种图卷积神经网络（GCNN）框架，通过同时输入信号及其图结构，统一了局部与非局部信号处理，实现了对动态图拓扑的自适应学习。该方法在图像和音频去噪任务中达到最先进性能，相比局部CNN，PSNR提升0.29 dB，SNR提升0.35 dB，并仅使用两个浅层网络即可实现端到端风格迁移。

ABSTRACT

This paper deals with the unification of local and non-local signal processing on graphs within a single convolutional neural network (CNN) framework. Building upon recent works on graph CNNs, we propose to use convolutional layers that take as inputs two variables, a signal and a graph, allowing the network to adapt to changes in the graph structure. In this article, we explain how this framework allows us to design a novel method to perform style transfer.

研究动机与目标

• 在单一GCNN框架内统一局部与非局部信号处理，并适应动态图结构。
• 解决标准CNN在处理不规则图和信号中非局部依赖关系方面的局限性。
• 实现端到端学习最优的局部与非局部处理混合方式，适用于多样化信号处理任务。
• 通过仅使用浅层网络，验证该框架在图像和音频去噪及图像风格迁移任务中的有效性。

提出的方法

• 提出一种GCNN架构，同时以信号及其图结构作为输入，使网络能够适应图拓扑的变化。
• 通过在图拉普拉斯矩阵上操作的可学习滤波器定义图卷积，实现局部与非局部感受野的统一。
• 引入非局部层，基于信号本身构建相似性图，捕捉长程依赖关系。
• 采用两阶段训练策略：先预训练局部网络，再通过在架构中添加非局部层进行微调。
• 基于信号相似性对非局部图进行参数化，引入可学习参数α和β以实现自适应加权。
• 将该框架应用于图像和音频去噪及风格迁移，仅使用两个浅层网络，避免使用深层网络结构。

实验结果

研究问题

• RQ1 单一GCNN框架能否有效统一图上的局部与非局部信号处理？
• RQ2 GCNN如何适应动态或依赖于信号的图结构（如基于信号相似性构建的图）？
• RQ3 所提出的框架能否在极浅网络深度下实现具有竞争力的信号恢复性能？
• RQ4 端到端学习中，局部与非局部处理之间的最优平衡程度如何？

主要发现

• 与局部CNN相比，非局部GCNN在图像去噪任务中PSNR提升0.29 dB，测试集PSNR达到29.42 dB。
• 在音频去噪任务中，非局部GCNN达到8.79 dB的SNR，优于局部GCNN（8.44 dB）和小波软阈值法（5.80 dB）。
• 该框架仅使用两个浅层网络即可实现有效的图像风格迁移，无需依赖深层预训练模型。
• 训练后网络的分析与合成层特征图类似于小波滤波器，表明学习到了稀疏表示。
• 分析与合成层的滤波器几乎互为伴随，符合字典学习原理。
• 引入非局部层后，第一层学习到的滤波器模式未发生显著变化，表明特征学习具有稳定性。