[论文解读] Weakly Labeling the Antarctic: The Penguin Colony Case

Hieu Lê, Bento Collares Gonçalves+2 more|arXiv (Cornell University)|May 8, 2019

Robotics and Sensor-Based Localization参考文献 32被引用 11

一句话总结

本文提出了一种弱监督深度学习框架，用于仅使用弱标注的粪便覆盖标签对高分辨率卫星图像中的阿德利企鹅群落进行语义分割。通过结合一个分类网络（C-Net）来过滤噪声训练图像块，以及一个采用均激活回归损失训练的分割网络（S-Net），该方法将mIoU从42.3%提升至60.0%，显著提高了分割精度，尽管弱标签存在错位和不精确的问题。

ABSTRACT

Antarctic penguins are important ecological indicators -- especially in the face of climate change. In this work, we present a deep learning based model for semantic segmentation of Adélie penguin colonies in high-resolution satellite imagery. To train our segmentation models, we take advantage of the Penguin Colony Dataset: a unique dataset with 2044 georeferenced cropped images from 193 Adélie penguin colonies in Antarctica. In the face of a scarcity of pixel-level annotation masks, we propose a weakly-supervised framework to effectively learn a segmentation model from weak labels. We use a classification network to filter out data unsuitable for the segmentation network. This segmentation network is trained with a specific loss function, based on the average activation, to effectively learn from the data with the weakly-annotated labels. Our experiments show that adding weakly-annotated training examples significantly improves segmentation performance, increasing the mean Intersection-over-Union from 42.3 to 60.0% on the Penguin Colony Dataset.

研究动机与目标

• 解决高分辨率卫星图像生态监测中像素级标注稀缺的问题。
• 利用仅含百分比覆盖度标签的弱标注数据，提升企鹅粪便斑块的语义分割性能。
• 减少因地理定位误差和天气伪影导致的错位或不合适的训练图像带来的噪声。
• 开发一种可扩展的半监督框架，适用于超出企鹅群落的地理参考卫星图像分析。
• 实现利用卫星数据对企鹅种群动态进行准确、自动的时间序列监测。

提出的方法

• 采用两阶段框架：首先，使用少量人工标注图像训练一个CNN分类器（C-Net），以区分含有和不含有可见粪便的图像。
• 利用C-Net从29,043个弱标注正样本中过滤出19,446个噪声训练图像块，仅保留可能包含有效粪便信号的样本。
• 通过一种新颖的均激活回归损失训练分割网络（S-Net），促使预测的分割掩码与弱标注粪便掩码的平均激活相匹配。
• 均激活损失确保模型即使在像素级对齐不佳的情况下，也能从粪便的空间分布中学习。
• 最终模型结合人工标注数据与过滤后的弱标注数据，提升了鲁棒性与泛化能力。
• 该框架在Penguin Colony Dataset数据集上进行评估，该数据集包含193个阿德利企鹅群落的2,044幅地理参考卫星图像裁剪。

实验结果

研究问题

• RQ1 当像素级标注稀缺时，仅使用粪便覆盖度百分比标签的弱标注数据能否提升语义分割性能？
• RQ2 基于分类器的过滤方法在从弱标注数据中去除噪声、错位的训练图像块方面效果如何？
• RQ3 均激活回归损失是否能有效支持在错位弱标签上进行语义分割训练？
• RQ4 与仅使用人工标注数据相比，将过滤后的弱标注数据与少量人工标注掩码结合，能在多大程度上提升mIoU？
• RQ5 该框架能否推广至其他地理参考遥感分割任务，且在像素级标注有限的情况下仍具适用性？

主要发现

• 所提方法通过整合过滤后的弱标注数据，将平均交并比（mIoU）从42.3%提升至60.0%。
• 通过C-Net过滤，噪声训练图像块数量减少67%，从最初的29,043个正样本中移除了19,446个。
• 均激活回归损失使模型能有效从错位弱标签中学习，与仅使用人工标注数据训练相比，mIoU提升30%。
• 定性结果表明，经C-Net过滤的模型生成的分割掩码更清晰、更完整，尤其在积雪覆盖或云层遮挡等复杂条件下表现更优。
• 引入弱标注数据显著提升了模型泛化能力，如在Arthurson Ridge站点多年影像中均表现出一致的性能。
• 该框架展现出强大的可迁移性与鲁棒性，能够实现对南极洲企鹅群落的准确、可扩展的监测。