[论文解读] Permutohedral Lattice CNNs

Martin Kiefel, Varun Jampani+1 more|arXiv (Cornell University)|Dec 20, 2014

Neural Networks and Applications参考文献 4被引用 5

一句话总结

本文提出了排列单纯形晶格卷积网络（PCNNs），这是一种新颖的卷积层，通过利用排列单纯形晶格数据结构，高效处理稀疏输入特征。通过将稀疏特征映射到晶格进行滤波并再映射回原空间，该方法实现了高效的、无需网格的卷积，可泛化传统空间卷积，并支持学习如颜色和尺度等不变性，在稀疏或非规则采样数据的去噪任务中表现优于标准CNN。

ABSTRACT

This paper presents a convolutional layer that is able to process sparse input features. As an example, for image recognition problems this allows an efficient filtering of signals that do not lie on a dense grid (like pixel position), but of more general features (such as color values). The presented algorithm makes use of the permutohedral lattice data structure. The permutohedral lattice was introduced to efficiently implement a bilateral filter, a commonly used image processing operation. Its use allows for a generalization of the convolution type found in current (spatial) convolutional network architectures.

研究动机与目标

• 使卷积神经网络能够处理稀疏的、非网格结构的输入特征，例如RGB值或采样像素位置。
• 通过排列单纯形晶格编码的任意域定义卷积，泛化传统空间卷积。
• 在无需插值或密集预处理的情况下，实现稀疏输入上卷积滤波器的端到端学习。
• 通过域设计直接将旋转、尺度和颜色相似性等不变性编码到卷积操作中。
• 展示对输入稀疏性和退化具有鲁棒性，支持在不同采样密度下进行训练和推理。

提出的方法

• 该方法通过使用重心坐标进行投射（splatting）操作，将稀疏输入特征（如位置和颜色）映射到排列单纯形晶格上。
• 在晶格上使用可学习核对邻近晶格点执行卷积，邻域大小控制感受野。
• 通过使用重心插值将晶格值映射回原始稀疏特征位置的切片（slice）操作重建输出。
• 晶格结构支持高效的最近邻查询和插值，避免维度呈指数增长。
• 该框架支持端到端反向传播，允许通过梯度下降训练卷积核。
• 该方法通过学习滤波权重而非固定权重，泛化了双边滤波，实现在稀疏输入上的自适应、数据驱动滤波。

实验结果

研究问题

• RQ1 能否设计一种卷积层，在无需密集网格插值的情况下，高效处理稀疏的、非规则采样输入特征？
• RQ2 如何通过结构化数据表示，将颜色相似性或尺度等不变性直接编码到卷积操作中？
• RQ3 在稀疏或噪声输入上，基于排列单纯形晶格学习卷积核是否优于固定滤波器或标准空间卷积？
• RQ4 网络是否能在训练和推理中跨不同采样密度保持性能，无性能下降？
• RQ5 在图像去噪等任务中，使用排列单纯形卷积相较于标准空间卷积，在稀疏或受损输入下能带来多大的性能提升？

主要发现

• 在BSDS500去噪基准测试中，使用训练滤波器的PCNN获得更高的PSNR（平均27.1 dB），优于基线空间CNN（26.8 dB）和固定高斯双边滤波器（26.9 dB）。
• 空间卷积与排列单纯形卷积的结合取得了最佳性能（PSNR 27.3 dB），表明两种方法具有互补优势。
• 该方法对输入稀疏性表现出鲁棒性，在子采样和非规则采样等多种采样策略下均保持性能稳定。
• 排列单纯形晶格实现了高效的计算，邻域大小为s时复杂度为O(s^d)，与标准网格卷积相当。
• 该框架成功将颜色相似性和尺度等域不变性编码其中，实现对连续尺度或颜色空间的直接卷积，无需离散子采样。
• 该方法消除了插值等预处理步骤的需求，可直接处理测量得到的稀疏信号，如MRT扫描或点云。