[论文解读] Pixel Deconvolutional Networks

Hongyang Gao, Hao Yuan+2 more|arXiv (Cornell University)|May 18, 2017

Advanced Neural Network Applications参考文献 23被引用 31

一句话总结

本文提出像素去卷积层（PixelDCL），一种新颖的去卷积操作，通过强制按顺序、基于依赖关系生成中间特征图，消除了棋盘纹伪影，确保相邻输出像素之间的直接空间关系。实验结果表明，PixelDCL在语义分割任务中提升了精度，并实现了无棋盘纹伪影的逼真图像生成，在两项任务中均优于标准去卷积层，同时通过实现优化保持了实际效率。

ABSTRACT

Deconvolutional layers have been widely used in a variety of deep models for up-sampling, including encoder-decoder networks for semantic segmentation and deep generative models for unsupervised learning. One of the key limitations of deconvolutional operations is that they result in the so-called checkerboard problem. This is caused by the fact that no direct relationship exists among adjacent pixels on the output feature map. To address this problem, we propose the pixel deconvolutional layer (PixelDCL) to establish direct relationships among adjacent pixels on the up-sampled feature map. Our method is based on a fresh interpretation of the regular deconvolution operation. The resulting PixelDCL can be used to replace any deconvolutional layer in a plug-and-play manner without compromising the fully trainable capabilities of original models. The proposed PixelDCL may result in slight decrease in efficiency, but this can be overcome by an implementation trick. Experimental results on semantic segmentation demonstrate that PixelDCL can consider spatial features such as edges and shapes and yields more accurate segmentation outputs than deconvolutional layers. When used in image generation tasks, our PixelDCL can largely overcome the checkerboard problem suffered by regular deconvolution operations.

研究动机与目标

• 为解决深度神经网络中用于上采样的去卷积层长期存在的棋盘纹伪影问题。
• 在上采样的特征图中建立相邻像素之间的直接空间关系，而标准去卷积操作中缺乏此类关系。
• 提出一种即插即用的去卷积层替代方案，保持完全可训练性与模型兼容性。
• 通过利用边缘和形状等局部空间上下文，提升语义分割与图像生成任务的性能。
• 证明按顺序生成中间特征图可有效缓解棋盘纹伪影，同时仅造成最小的效率损失。

提出的方法

• 将标准去卷积重新解释为对独立计算的中间特征图进行周期性重排，导致相邻输出像素之间空间关系断裂。
• 提出PixelDCL，其中中间特征图按顺序生成，确保每个后续特征图均依赖于先前生成的特征图，以强制实现空间连续性。
• 引入一种顺序生成机制，直接建立最终上采样特征图中相邻像素之间的依赖关系。
• 采用一种实现技巧以减少顺序处理带来的计算开销，与标准去卷积相比，最大限度降低效率损失。
• 将PixelDCL作为即插即用的替代方案，应用于编码器-解码器架构和生成模型中的任意去卷积层，无需修改网络结构。
• 采用标准U-Net和基于VAE的架构进行评估，在保持所有其他组件不变的前提下，将解码器中的去卷积层替换为PixelDCL。

实验结果

研究问题

• RQ1 对去卷积操作的重新诠释是否能导出一种可消除上采样特征图中棋盘纹伪影的方法？
• RQ2 在去卷积过程中强制中间特征图之间的顺序依赖关系，是否能提升输出特征图的空间一致性？
• RQ3 PixelDCL是否可作为标准去卷积层的即插即用替代品，而不影响模型可训练性或无需架构重构？
• RQ4 使用PixelDCL是否能带来语义分割与图像生成质量的可测量提升？
• RQ5 能否缓解PixelDCL中顺序处理带来的计算成本，以维持实际效率？

主要发现

• 在语义分割与图像生成任务中，PixelDCL显著减少了棋盘纹伪影，定性结果已明确验证。
• 在PASCAL VOC 2012数据集上，使用PixelDCL的U-Net模型在mIOU和像素准确率上均优于使用标准去卷积层的模型。
• 在语义分割任务中，使用PixelDCL的模型优于使用标准去卷积的模型，其中PixelDCL变体实现了最高的mIOU，表明边缘与形状的保留效果更优。
• 在CelebA数据集上的图像生成任务中，使用PixelDCL的VAE生成了逼真的人脸图像，未出现可见的棋盘纹伪影，而基线模型使用标准去卷积则存在此类问题。
• PixelDCL的训练与推理时间仅比标准去卷积适度增加，平均训练时间提升1.25倍，推理时间也提升1.25倍，证明其具备实际效率。
• iPixelDCL变体由于依赖关系增加，计算成本高于PixelDCL，但两者在实际部署中均保持可行性。