[论文解读] TreeSegNet: Adaptive Tree CNNs for Subdecimeter Aerial Image Segmentation

Kai Yue, Lei Yang+4 more|arXiv (Cornell University)|Apr 29, 2018

Advanced Neural Network Applications参考文献 9被引用 3

一句话总结

TreeSegNet 在 DeepUNet 框架内提出一种自适应 Tree-CNN 模块，通过混淆矩阵驱动的架构自适应学习类别特定特征表示，以提升亚分米级航空影像分割性能。该方法通过连接操作融合多尺度特征，并利用新型 TreeCutting 算法优化基于 ResNeXt 的节点，从而在 ISPRS Potsdam 数据集上实现最先进性能。

ABSTRACT

For the task of subdecimeter aerial imagery segmentation, fine-grained semantic segmentation results are usually difficult to obtain because of complex remote sensing content and optical conditions. Recently, convolutional neural networks (CNNs) have shown outstanding performance on this task. Although many deep neural network structures and techniques have been applied to improve the accuracy, few have paid attention to better differentiating the easily confused classes. In this paper, we propose TreeSegNet which adopts an adaptive network to increase the classification rate at the pixelwise level. Specifically, based on the infrastructure of DeepUNet, a Tree-CNN block in which each node represents a ResNeXt unit is constructed adaptively according to the confusion matrix and the proposed TreeCutting algorithm. By transporting feature maps through concatenating connections, the Tree-CNN block fuses multiscale features and learns best weights for the model. In experiments on the ISPRS 2D semantic labeling Potsdam dataset, the results obtained by TreeSegNet are better than those of other published state-of-the-art methods. Detailed comparison and analysis show that the improvement brought by the adaptive Tree-CNN block is significant.

研究动机与目标

• 解决在光学条件多变的复杂亚分米级航空影像中进行细粒度语义分割的挑战。
• 提升遥感影像分割中易混淆类别的分类精度。
• 开发一种自适应深度学习架构，能够根据类别混淆模式动态调整。
• 通过改进 U-Net 类编码器中的多尺度特征融合，提升上下文表征能力。

提出的方法

• 该方法基于 DeepUNet 架构，引入 Tree-CNN 模块，其中每个节点为一个 ResNeXt 单元，支持层次化特征学习。
• 从模型预测中计算混淆矩阵，以识别频繁被误分类的类别对。
• TreeCutting 算法根据混淆模式自适应地剪枝并重构 Tree-CNN 模块，以改善决策边界。
• 通过连接跳跃连接传输特征图，融合多尺度特征，增强表征学习。
• 自适应 Tree-CNN 模块与网络其余部分端到端联合训练，以优化像素级分类。
• 在 ISPRS 2D 语义标注 Potsdam 数据集上，采用标准分割指标评估该架构。

实验结果

研究问题

• RQ1 自适应深度学习架构能否提升亚分米级航空影像分割中的像素级分类精度？
• RQ2 基于混淆矩阵的网络自适应改进对难以区分类别的性能影响如何？
• RQ3 通过连接操作实现的多尺度特征融合在多大程度上提升了分割质量？
• RQ4 TreeCutting 算法是否能有效重构网络，从而减少相似类别之间的误分类？

主要发现

• TreeSegNet 在 ISPRS Potsdam 数据集上达到最先进性能，其分割精度优于其他已发表方法。
• 自适应 Tree-CNN 模块显著提升了如不透水表面与树木等易混淆类别的分类率。
• 基于混淆矩阵的自适应机制显著降低了类别间误分类，尤其在视觉相似类别之间。
• 通过连接操作实现的多尺度特征融合增强了模型在多尺度上捕捉上下文信息的能力。
• 消融实验证实，TreeCutting 算法与自适应模块设计对性能提升具有显著贡献。
• 该方法在具有挑战性的光学条件和复杂的遥感内容下表现出良好的鲁棒性。