[论文解读] Pixel-Adaptive Convolutional Neural Networks

Hang Su, Varun Jampani+4 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Neural Network Applications参考文献 48被引用 20

一句话总结

本文提出像素自适应卷积（Pixel-Adaptive Convolution, PAC），一种内容自适应的卷积操作，通过将滤波器权重与基于可学习或预定义像素特征生成的空间可变核相乘，对标准卷积进行修改。PAC 广义化了标准卷积、双边滤波和池化操作，在联合图像超分任务中实现了最先进性能，并提出一种简单的层热插拔策略，在不增加参数量或推理成本的前提下，将语义分割精度提升了 2 mIoU。

ABSTRACT

Convolutions are the fundamental building block of CNNs. The fact that their weights are spatially shared is one of the main reasons for their widespread use, but it also is a major limitation, as it makes convolutions content agnostic. We propose a pixel-adaptive convolution (PAC) operation, a simple yet effective modification of standard convolutions, in which the filter weights are multiplied with a spatially-varying kernel that depends on learnable, local pixel features. PAC is a generalization of several popular filtering techniques and thus can be used for a wide range of use cases. Specifically, we demonstrate state-of-the-art performance when PAC is used for deep joint image upsampling. PAC also offers an effective alternative to fully-connected CRF (Full-CRF), called PAC-CRF, which performs competitively, while being considerably faster. In addition, we also demonstrate that PAC can be used as a drop-in replacement for convolution layers in pre-trained networks, resulting in consistent performance improvements.

研究动机与目标

• 为解决标准卷积空间共享且与内容无关的局限性，使滤波器能够根据局部图像内容自适应调整。
• 开发标准卷积的广义化形式，以统一包括双边滤波和池化在内的多种滤波技术。
• 通过一种简单且参数保持不变的层热插拔技术，在现有预训练网络中实现性能提升。
• 提供一种高效替代全连接条件随机场（Full-CRF）的方法，在保持竞争性能的同时实现更快的推理速度。

提出的方法

• PAC 通过将固定滤波器权重与依赖于局部像素特征 f 的空间可变调制核 K 进行逐元素相乘，来修改标准卷积。
• 调制核 K 通过特征相似性计算得到，例如高斯核：exp(-1/2 ||f_i - f_j||²)，其中 f_i 和 f_j 分别为像素 i 和 j 的 d 维特征。
• 调制特征 f 可以是预定义的（如颜色、位置）或通过 CNN 学习得到，用于计算卷积滤波器的空间可变调制。
• PAC 通过层热插拔方式作为标准卷积层的即插即用替代品应用于预训练网络，保留原始权重，仅修改前向传播过程。
• 在联合超分任务中，PAC 的一种变体被用于转置卷积，实现中间特征的可学习、引导式超分。
• 提出 PAC-CRF 作为 Full-CRF 的更快替代方案，利用 PAC 层实现高效条件随机场推理，同时提升边界保真度。

实验结果

研究问题

• RQ1 对标准卷积进行简单修改，是否能在保持参数效率的同时实现内容自适应滤波？
• RQ2 PAC 如何广义化现有的滤波操作（如双边滤波和池化）？
• RQ3 PAC 是否可作为即插即用的替换层应用于预训练网络，在不增加模型大小的前提下提升性能？
• RQ4 PAC-CRF 是否在显著更快的推理速度下实现与 Full-CRF 相当的性能？
• RQ5 PAC 是否能提升联合图像超分任务的性能，特别是在深度图和光流预测任务中？

主要发现

• PAC 在深度图和光流预测任务的联合图像超分中实现了最先进性能。
• 通过 PAC 层热插拔，Pascal VOC 2011 测试集上的语义分割 mIoU 提升了 2.0（67.20 → 69.18），且参数量和运行时间均未增加。
• 当与 PAC-CRF（16-64 变体）结合使用时，mIoU 进一步提升至 71.34，表明其与后处理方法具有互补增益。
• PAC-CRF 实现了与 Full-CRF 相当的性能，同时显著降低推理时间，是实时应用的实用替代方案。
• 该方法广义化了标准卷积、双边滤波和池化操作，展示了在各类视觉任务中的广泛适用性。
• 使用早期卷积层特征（如 CONV2_2）作为 PAC 层的调制特征，可在极小计算开销下实现有效的内容自适应。