[论文解读] TreeSegNet: Automatically Constructed Tree CNNs for Subdecimeter Aerial Image Segmentation.

Kai Yue, Yang Lei+4 more|arXiv (Cornell University)|Apr 29, 2018

Advanced Neural Network Applications被引用 2

一句话总结

TreeSegNet 提出了一种基于 DeepUNet 的新型 Tree-CNN 架构，以解决类别不平衡问题并提升分米级航空影像分割性能。通过利用混淆矩阵分析和最小图割算法自动构建 Tree-CNN，并采用拼接方式融合多尺度特征，该方法在 ISPRS 波茨坦数据集上实现了最先进水平的 F1 分数，尤其在易混淆类别上表现突出。

ABSTRACT

For the task of subdecimeter aerial imagery segmentation, the fine-grained semantic segmentation results are usually difficult to obtain because of complex remote sensing contents and optical conditions. In addition, remote sensing imagery has inherent limitations of imbalanced class distribution. Recently, convolutional neural networks (CNNs) have shown outstanding performance on this task. In this paper, we propose the TreeSegNet to solve the class imbalance problem and further improve the accuracy in the metrics' point of view. Based on the infrastructure of DeepUNet, a Tree-CNN model in which each node represents a ResNeXt unit is constructed automatically according to confusion matrix and minimum graph cut algorithm. By transporting feature maps by concatenating connections, the Tree-CNN block fuses the multiscale features and learning the best weights for the model. In the experiments on ISPRS 2D semantic labeling Potsdam dataset, the results gotten by TreeSegNet are better than the opened state-of-the-art methods. The F1 measure scores of classes are improved especially for those classes that are easily confused. Completely and detailed comparison and analysis are performed to show that the improvement is brought by the construction and the embedding of the Tree-CNN module.

研究动机与目标

• 为解决复杂遥感内容和光学变化导致的分米级航空影像分割中的类别不平衡问题。
• 提升细粒度语义分割任务中的分割精度，特别是对易混淆类别的处理能力。
• 通过混淆矩阵分析与最小图割算法，自动构建分层 Tree-CNN 架构，以实现最优特征学习。
• 将 Tree-CNN 模块嵌入 DeepUNet 主干网络，以增强多尺度特征融合与模型性能。

提出的方法

• 通过最小图割算法分析预测结果的混淆矩阵，自动构建 Tree-CNN，将误分类的类别进行分组。
• Tree-CNN 中的每个节点均为 ResNeXt 模块，利用分组卷积实现深层残差学习，提升表征能力。
• 通过基于拼接的跳跃连接传输并融合特征图，增强多尺度特征整合效果。
• 将 Tree-CNN 模块嵌入 DeepUNet 的编码器-解码器结构中，以在多层级上优化特征学习。
• 采用标准分割损失进行端到端训练，同时优化 Tree-CNN 结构以最小化分类混淆。

实验结果

研究问题

• RQ1 通过自动构建的 Tree-CNN 架构，是否能有效降低分米级航空影像分割中相似类别之间的误分类？
• RQ2 与标准 CNN 相比，Tree-CNN 模块的集成在类别不平衡的遥感数据上是否显著提升了分割性能？
• RQ3 基于最小图割的节点分组策略在多大程度上增强了模型对模糊类别的鲁棒性与 F1 分数？
• RQ4 Tree-CNN 模块中基于拼接的特征融合机制是否相比标准跳跃连接，带来了更优的多尺度特征学习效果？

主要发现

• 在 ISPRS 2D 语义标注波茨坦数据集上，TreeSegNet 的 F1 分数优于当前最先进方法。
• 模型在易混淆类别上的 F1 分数显著提升，表明其对类别模糊性的处理能力有效。
• 通过混淆矩阵分析与最小图割算法自动构建 Tree-CNN，形成了更具鲁棒性与准确性的网络架构。
• 基于拼接的特征传输机制增强了多尺度特征融合，为整体性能提升提供了关键贡献。