[论文解读] Texture segmentation with Fully Convolutional Networks

Vincent Andrearczyk, Paul F. Whelan|arXiv (Cornell University)|Mar 15, 2017

Smart Agriculture and AI参考文献 17被引用 8

一句话总结

该论文提出了一种专为纹理分割优化的全卷积网络（FCN）架构，通过结合浅层的局部纹理特征与深层的抽象表征，实现在极少或无标注训练数据下的高精度语义分割。该方法在普热罗夫纹理分割基准上实现了最先进性能，尤其在无监督和少样本设置下表现优异，通过在小规模数据集甚至测试图像本身的部分区域进行微调，利用纹理的重复性特征实现性能突破。

ABSTRACT

In the last decade, deep learning has contributed to advances in a wide range computer vision tasks including texture analysis. This paper explores a new approach for texture segmentation using deep convolutional neural networks, sharing important ideas with classic filter bank based texture segmentation methods. Several methods are developed to train Fully Convolutional Networks to segment textures in various applications. We show in particular that these networks can learn to recognize and segment a type of texture, e.g. wood and grass from texture recognition datasets (no training segmentation). We demonstrate that Fully Convolutional Networks can learn from repetitive patterns to segment a particular texture from a single image or even a part of an image. We take advantage of these findings to develop a method that is evaluated on a series of supervised and unsupervised experiments and improve the state of the art on the Prague texture segmentation datasets.

研究动机与目标

• 开发一种专为纹理分割设计的全卷积网络架构，摒弃基于形状的特征，专注于纹理特异性表征。
• 仅使用标准纹理识别数据集中的非分割图像，实现具有高类内差异性的纹理语义分割。
• 证明全卷积网络可通过单张图像每类或直接使用测试图像本身区域进行有效微调，实现无监督纹理分割。
• 在无监督和少样本学习场景下，进一步提升普热罗夫纹理分割基准的最先进水平。

提出的方法

• 所提出的FCN融合来自网络多个深度的特征图——浅层用于捕捉局部高频纹理模式，深层用于建模更抽象的全局纹理表征。
• 网络通过端到端训练，使用监督损失函数进行纹理分割任务优化，重点通过转置卷积和跳跃连接保留空间分辨率。
• 在少样本和无监督学习设置下，通过每类仅一张图像或使用测试图像中预分割区域作为伪标签进行微调。
• 预分割通过经典方法（如k-means、FSEG、MK）完成，生成初始标签后由FCN进行精细化处理。
• 网络架构被优化以抑制基于形状的归纳偏置，仅聚焦于纹理模式的识别与分割。
• 方法利用纹理的重复性，从极小监督信号中实现有效泛化，支持从非分割数据集进行有效迁移学习。

实验结果

研究问题

• RQ1 全卷积网络是否能在无需完全标注训练数据的情况下，仅依赖纹理的重复性特征，实现纹理分割？
• RQ2 在非分割纹理图像（如KTH-TIPS-2B或Kylberg数据集）上训练的FCN，其在语义纹理分割任务上的泛化能力如何？
• RQ3 每类仅使用一张图像作为监督信号，是否足以实现有效纹理分割？
• RQ4 测试图像本身经预分割后的区域，是否可作为无监督纹理分割的有效训练数据？
• RQ5 在监督与无监督设置下，所提出的FCN与最先进方法相比，在普热罗夫纹理分割基准上的表现如何？

主要发现

• 所提出的FCN在普热罗夫无监督数据集上取得了79.34%的基于区域的Dice分数（CS），显著优于先前最先进方法。
• 在监督设置下的普热罗夫数据集上，FCN实现了84.17%的像素级准确率（CA）和89.91%的F1分数（CI），超越所有先前方法。
• 在18项评估指标中有12项取得最高分，其余四项中位列第二，表明在多种分割评估标准下均表现出一致优越性。
• 通过每类仅一张图像进行微调，网络展现出优异的泛化能力，证实其在纹理分割任务中具备强大的少样本学习能力。
• 在预分割后使用测试图像部分区域作为训练数据，取得了优异结果，验证了极小监督下无监督纹理分割的可行性。
• 采用MK预分割标签的FCN在所有指标中表现最佳，包括94.15%的CC分数和89.91%的CI分数。