[论文解读] Semi-Supervised Segmentation of Concrete Aggregate Using Consensus Regularisation and Prior Guidance

Max Coenen, Thomas Schack+3 more|arXiv (Cornell University)|Apr 22, 2021

Infrastructure Maintenance and Monitoring参考文献 25被引用 15

一句话总结

该论文提出了一种用于混凝土骨料颗粒的半监督语义分割框架，通过结合一致性正则化与先验引导损失，在类别不平衡的数据集上提升了性能。通过将类别分布先验和自编码器重建约束整合到轻量级编码器-解码器架构中，该方法在少数类召回率方面实现了显著提升——相比标准的一致性训练，少数类召回率最高提高9.8%，同时在新提出的高分辨率混凝土芯样数据集上保持了较高的整体准确率。

ABSTRACT

In order to leverage and profit from unlabelled data, semi-supervised frameworks for semantic segmentation based on consistency training have been proven to be powerful tools to significantly improve the performance of purely supervised segmentation learning. However, the consensus principle behind consistency training has at least one drawback, which we identify in this paper: imbalanced label distributions within the data. To overcome the limitations of standard consistency training, we propose a novel semi-supervised framework for semantic segmentation, introducing additional losses based on prior knowledge. Specifically, we propose a light-weight architecture consisting of a shared encoder and a main decoder, which is trained in a supervised manner. An auxiliary decoder is added as additional branch in order to make use of unlabelled data based on consensus training, and we add additional constraints derived from prior information on the class distribution and on auto-encoder regularisation. Experiments performed on our "concrete aggregate dataset" presented in this paper demonstrate the effectiveness of the proposed approach, outperforming the segmentation results achieved by purely supervised segmentation and standard consistency training.

研究动机与目标

• 解决标准一致性训练在类别分布不平衡时，半监督语义分割中的性能局限性。
• 通过引入对预期标签分布的先验知识，提升沉积图像中作为少数类的混凝土骨料颗粒的分割性能。
• 开发一种轻量化、高效的深度学习架构，在参数更少的情况下实现最先进性能。
• 创建并发布一个新的高分辨率混凝土骨料分割基准数据集，包含像素级标注。

提出的方法

• 在有限的标注数据上，使用监督方式训练共享编码器和主解码器。
• 引入辅助解码器作为第二分支，通过数据增强在未标注数据上实现一致性训练。
• 在标签空间应用先验引导损失，基于预期的类别频率分布对未标注数据的预测进行正则化。
• 在图像空间添加自编码器重建损失，以学习底层数据分布并改善特征表示。
• 该框架将这些正则化方法与一致性训练相结合，鼓励同一图像不同增强视图的预测保持一致。
• 采用基于残差块和深度可分离卷积的轻量化架构，以降低模型复杂度，同时保持性能。

实验结果

研究问题

• RQ1 类别不平衡在多大程度上影响标准一致性训练在半监督语义分割中的性能？
• RQ2 关于类别分布的先验知识是否能提升不平衡数据集中少数类的分割性能？
• RQ3 在半监督设置中，自编码器重建损失在多大程度上增强了特征学习和分割准确率？
• RQ4 与纯监督方法和标准一致性训练相比，所提出的框架在F1分数和整体准确率方面表现如何？
• RQ5 标注数据量的变化对所提半监督方法性能有何影响？

主要发现

• 与Unet架构上的标准一致性训练相比，所提方法在少数类（骨料）上的召回率提高了9.8%。
• 在R-S-Net架构上，完整框架相比仅使用一致性的变体，将骨料召回率提高了3.2%，F1分数提高了4.1个百分点。
• 完整框架在Unet上的总体准确率（OA）达到92.8%，在R-S-Net上达到92.4%，优于监督和标准半监督基线方法。
• 当仅使用10%的数据进行标注（T1设置）时，半监督学习带来的性能增益最为显著，整体准确率相比监督基线提高了4.9%。
• 消融实验表明，性能提升最大的阶段出现在T1到T3之间（标注数据量增至三倍），基础变体的总体准确率提高了4.9%。
• 先验知识与自编码器正则化的结合有效减少了骨料颗粒的误检（即假阴性），这一结果在定性结果中已得到视觉验证。