[论文解读] Rotation Equivariant Deforestation Segmentation and Driver Classification

Joshua Mitton, Roderick Murray‐Smith|arXiv (Cornell University)|Oct 25, 2021

Remote Sensing and LiDAR Applications被引用 4

一句话总结

本文提出了一种用于联合进行砍伐森林分割与驱动因素分类的旋转等变U-Net模型，基于Landsat 8卫星影像。通过在卷积层中强制实现旋转等变性，该模型相较于标准CNN，分类准确率提升9%，分割准确率提升7%，同时确保在图像旋转下预测结果稳定——这对于方向多变的卫星数据至关重要。

ABSTRACT

Deforestation has become a significant contributing factor to climate change and, due to this, both classifying the drivers and predicting segmentation maps of deforestation has attracted significant interest. In this work, we develop a rotation equivariant convolutional neural network model to predict the drivers and generate segmentation maps of deforestation events from Landsat 8 satellite images. This outperforms previous methods in classifying the drivers and predicting the segmentation map of deforestation, offering a 9% improvement in classification accuracy and a 7% improvement in segmentation map accuracy. In addition, this method predicts stable segmentation maps under rotation of the input image, which ensures that predicted regions of deforestation are not dependent upon the rotational orientation of the satellite.

研究动机与目标

• 解决在卫星影像中因图像旋转变化导致的砍伐森林分析分割预测不稳定的问题。
• 通过利用数据中的旋转对称性，提升基于卫星数据的砍伐森林驱动因素分类准确率。
• 开发一种深度学习模型，确保无论输入图像如何旋转，分割输出保持一致。
• 展示群等变卷积——特别是旋转等变性——在环境监测遥感应用中的优势。
• 提供一种鲁棒且可泛化的模型，用于大规模砍伐森林监测，且对数据采集方向不敏感。

提出的方法

• 该模型采用在卷积层中引入旋转等变卷积的U-Net架构，确保特征图在图像旋转下可预测地变换。
• 通过基于正交群O(2)表示的可调节CNN实现群等变卷积，支持旋转等变的特征学习。
• 采用源自群表示理论的约束核空间，减少参数冗余，并提升不同方向间的特征共享。
• 同时强制实现平移与旋转等变性，使网络能够学习对旋转位移不变的空间层次特征。
• 在Landsat 8影像上端到端训练网络，联合预测砍伐森林分割掩码并分类砍伐驱动因素。
• 使用C8表示对特征场进行建模，实现90°旋转下的高效稳定特征变换，通过调和分析实现完整的旋转等变性。

实验结果

研究问题

• RQ1 旋转等变卷积能否提升卫星影像中砍伐森林驱动因素的分类准确率？
• RQ2 与标准CNN相比，旋转等变性是否能提升分割图在图像旋转下的准确率与稳定性？
• RQ3 在模型架构中引入旋转对称性，对泛化能力及对输入方向变化的鲁棒性有何影响？
• RQ4 旋转等变性在多大程度上能减少过拟合并提升砍伐森林分割任务中的参数效率？
• RQ5 旋转等变模型能否在相同砍伐森林场景的不同旋转方向下产生一致的分割预测？

主要发现

• 旋转等变模型相比非等变基线，分类准确率提升9%，测试准确率从57.9%提高至63.0%。
• 分割准确率提升7%，旋转等变模型在测试集上达到72.3%，而标准CNN为67.8%。
• 该模型在旋转下保持一致的分割预测：等变模型的旋转测试准确率为72.3%，与标准测试性能一致。
• 相比之下，非旋转等变模型的分割准确率从原始图像的67.9%下降至旋转后的66.3%，表明其在旋转下存在不稳定性。
• 图2的视觉对比显示，旋转等变模型在90°旋转下仍能生成稳定的分割图，而标准CNN的预测出现偏移与失真。
• 性能提升归因于等变归纳偏差带来的更高效的方向间特征共享，减少了冗余并增强了泛化能力。