[论文解读] Sparse Convolutional Networks using the Permutohedral Lattice.

Martin Kiefel, Varun Jampani+1 more|arXiv (Cornell University)|Mar 17, 2015

Remote-Sensing Image Classification参考文献 14被引用 5

一句话总结

本文提出了一种基于单纯形格点的稀疏、图像自适应卷积操作，将双边滤波推广至非线性、连续且可微的处理方式，适用于CNN中的稀疏输入数据。该方法将平均场推理扩展至非高斯势函数，实现了在多种视觉任务中的高效学习与性能提升。

ABSTRACT

This paper introduces an efficient, non-linear image adaptive filtering as a generalization of the standard spatial convolution of convolutional neural networks (CNNs). We build on the bilateral filtering operation, a commonly used edge-aware image processing technique. Our implementation of bilateral filters uses specialized data structures, and in this paper we demonstrate how these lead to generalizations and make the filters amendable to learning. This development enriches the convolutional operation found in CNNs, which becomes image adaptive, can process sparse input data, and produce continuous output. Our result also generalizes a class of densely connected graphical models with tractable mean field inference. It has previously been shown that mean field approximations in the subclass of models with Gaussian edge potentials reduce to a bilateral filtering operation. Here, we generalize this to the non-Gaussian case and allow highly parameterized potential functions. A diverse set of experiments validates the empirical performance and highlights the different aspects of the proposed operation.

研究动机与目标

• 开发一种可微的、非线性的图像自适应滤波操作，以推广CNN中的标准卷积。
• 在保持连续输出和可微性的同时，实现对稀疏输入数据的高效处理。
• 利用单纯形格点将图模型中的平均场推理扩展至非高斯边缘势函数。
• 证明所提出操作可推广双边滤波，并支持高度参数化的势函数。
• 通过实证验证该方法在多样化视觉任务中的性能，展示其更强的适应性与性能优势。

提出的方法

• 该方法利用单纯形格点数据结构，加速并稳定双边滤波操作的计算。
• 通过允许非高斯、高度参数化的边缘势函数，推广了双边滤波，突破了标准高斯假设的限制。
• 将滤波操作建模为可微的、连续的变换，适用于深度神经网络的端到端训练。
• 通过直接在非均匀采样的特征上操作，支持稀疏输入数据，避免了密集网格的假设。
• 作为可学习的、自适应的卷积层集成到CNN中，保留空间结构与边缘信息。
• 该框架使更广泛类别的图模型（包括具有非高斯势函数的模型）中的平均场推理成为可能。

实验结果

研究问题

• RQ1 双边滤波能否在保持计算效率与可微性的前提下，推广至支持非高斯、高度参数化的边缘势函数？
• RQ2 如何利用单纯形格点实现在深度学习中可微、连续且稀疏的卷积操作？
• RQ3 该方法能否将图模型中的平均场推理推广至非高斯情形？
• RQ4 该方法在稀疏或边缘敏感数据的视觉任务中能带来多大的性能提升？
• RQ5 在准确率与效率方面，该方法与标准卷积及现有自适应滤波技术相比表现如何？

主要发现

• 所提方法实现了可微、连续且图像自适应的滤波，推广了CNN中的标准卷积。
• 在保持高精度与空间保真度的同时，支持对稀疏输入数据的高效处理。
• 该方法将平均场推理推广至非高斯边缘势函数，扩展了其在更广泛模型类别中的适用性。
• 实证结果表明，该方法在多样化视觉任务中性能显著提升，尤其在边缘感知与稀疏数据场景中表现优异。
• 单纯形格点的使用实现了快速且稳定的计算，使该方法在深度学习部署中具备实用性。