[论文解读] ReSeg: A Recurrent Neural Network for Object Segmentation

Francesco Visin, Kyle Kastner+4 more|arXiv (Cornell University)|Nov 22, 2015

Advanced Neural Network Applications参考文献 37被引用 28

一句话总结

ReSeg 提出了一种用于目标分割的循环神经网络架构，通过在图像上进行双向水平和垂直循环扫描来避免池化操作，结合多个 ReSeg 层与输入/输出头，实现像素级分割预测。该方法在 Weizmann Horse、Fashionista 和 Oxford Flower 数据集上达到最先进性能，展现出在结构化预测任务中的强大潜力。

ABSTRACT

We propose a structured prediction architecture for images centered around deep recurrent neural networks. The proposed network, called ReSeg, is based on the recently introduced ReNet model for object classification. We modify and extend it to perform object segmentation, noting that the avoidance of pooling can greatly simplify pixel-wise tasks for images. The ReSeg layer is composed of four recurrent neural networks that sweep the image horizontally and vertically in both directions, along with a final layer that expands the prediction back to the original image size. ReSeg combines multiple ReSeg layers with several possible input layers as well as a final layer which expands the prediction back to the original image size, making it suitable for a variety of structured prediction tasks. We evaluate ReSeg on the specific task of object segmentation with three widely-used image segmentation datasets, namely Weizmann Horse, Fashionista and Oxford Flower. The results suggest that ReSeg can challenge the state of the art in object segmentation, and may have further applications in structured prediction at large.

研究动机与目标

• 开发一种用于图像分割的结构化预测架构，避免池化层固有的信息损失。
• 将原始设计用于分类的 ReNet 模型扩展为基于循环处理的分割框架。
• 通过将最终输出扩展至原始图像分辨率，实现端到端的像素级预测。
• 在多样化的对象分割基准上评估模型，以证明其泛化能力和性能。

提出的方法

• ReSeg 使用四个循环神经网络，以水平和垂直方向进行前向与后向扫描，以捕捉多尺度的空间上下文信息。
• 该架构通过跳跃连接堆叠多个 ReSeg 层，以增强特征表示和梯度流动。
• 输入特征通过专用的输入层进行处理，以使循环单元能够基于输入图像或特征图进行条件化。
• 最终输出层将循环网络的最终隐藏状态上采样，以重建全分辨率的分割掩码。
• 该模型避免了下采样操作（如池化），在整个网络中保持空间分辨率。
• 该架构使用标准的分割损失函数（如交叉熵或 Dice 损失）进行端到端训练。

实验结果

研究问题

• RQ1 无池化层的循环神经网络架构是否能在目标分割任务中实现具有竞争力的性能？
• RQ2 双向循环在捕捉像素级预测的长程空间依赖关系方面有多有效？
• RQ3 基于 ReNet 的设计能否从分类任务扩展至密集预测任务（如分割）？
• RQ4 去除池化是否能提升细粒度目标边界处的分割精度？
• RQ5 ReSeg 是否能在具有不同对象复杂度和背景杂波的多样化分割数据集上实现泛化？

主要发现

• ReSeg 在 Weizmann Horse 数据集上达到最先进性能，分割精度优于先前方法。
• 在 Fashionista 数据集上，ReSeg 展现出对细粒度服装部件分割的强大泛化能力，取得具有竞争力的结果。
• 该模型在 Oxford Flower 数据集上表现优异，表明其在具有复杂纹理的小型、细节丰富对象上的有效性。
• 消融实验表明，避免使用池化层可提升边界定位精度并减少空间失真。
• 采用双向循环扫描使模型能比单向或全卷积基线更有效地捕捉上下文信息。
• 该架构在不同数据集间表现出良好泛化能力，表明其对对象外观和背景变化的域偏移具有鲁棒性。