[论文解读] SoildNet: Soiling Degradation Detection in Autonomous Driving

Arindam Das|arXiv (Cornell University)|Nov 4, 2019

Advanced Neural Network Applications参考文献 18被引用 5

一句话总结

SoildNet 提出了一种轻量化、高效的深度学习模型，用于在自动驾驶摄像头中实现基于动态组卷积和通道重排的实时、像素级污损退化检测。该模型在不损失准确率的前提下，将模型大小减少7倍，参数量减少90.28%，在关键指标上优于所有变体，尤其在透明污损检测上实现了10%更高的真正例率（TPR）。

ABSTRACT

In the field of autonomous driving, camera sensors are extremely prone to soiling because they are located outside of the car and interact with environmental sources of soiling such as rain drops, snow, dust, sand, mud and so on. This can lead to either partial or complete vision degradation. Hence detecting such decay in vision is very important for safety and overall to preserve the functionality of the "autonomous" components in autonomous driving. The contribution of this work involves: 1) Designing a Deep Convolutional Neural Network (DCNN) based baseline network, 2) Exploiting several network remodelling techniques such as employing static and dynamic group convolution, channel reordering to compress the baseline architecture and make it suitable for low power embedded systems with nearly 1 TOPS, 3) Comparing various result metrics of all interim networks dedicated for soiling degradation detection at tile level of size 64 x 64 on input resolution 1280 x 768. The compressed network, is called SoildNet (Sand, snOw, raIn/dIrt, oiL, Dust/muD) that uses only 9.72% trainable parameters of the base network and reduces the model size by more than 7 times with no loss in accuracy

研究动机与目标

• 解决由于雨水、灰尘和泥浆等环境因素导致的自动驾驶汽车摄像头传感器污损退化这一关键但研究不足的问题。
• 开发一种适用于嵌入式车载系统（≤1 TOPS）的实时、低功耗解决方案，实现像素级（64×64）而非图像级的污损检测。
• 通过网络重构技术优化深度卷积神经网络架构，显著减小模型尺寸，同时保持或提升检测准确率。
• 在多种环境条件下实现对三类污损（清洁、不透明、透明）的鲁棒检测，以支持下游视觉处理流程。
• 证明通道重排结合动态组卷积可增强特征融合，提升性能，尤其在具有挑战性的透明污损类别上表现更优。

提出的方法

• 设计一个基础深度卷积神经网络（DCNN），用于在1280×768输入图像上进行像素级污损检测。
• 在所有卷积层中应用静态和动态组卷积，以减少参数量和计算复杂度。
• 引入通道重排以改善跨通道特征融合，增强表征学习能力，尤其针对模糊的透明污损。
• 通过迭代式架构修改系统性地压缩网络，评估每个变体在准确率和效率指标上的表现。
• 在包含真实世界场景（如雨、泥、雾、雪）的大规模多样化污损数据集上进行训练和评估。
• 采用基于像素块的评估方案，将每个64×64的图像块分类为清洁、不透明或透明，从而支持下游任务中部分图像的可用性。

实验结果

研究问题

• RQ1 是否可以在视觉网络的所有卷积层中有效应用组卷积，而不会损害特征融合或性能？
• RQ2 通道重排对特征表征和分类准确率有何影响，特别是在模糊的透明污损类别上？
• RQ3 通过组卷积和通道重排进行模型压缩，能在多大程度上减少参数量和模型大小，同时保持检测准确率？
• RQ4 与静态配置相比，组卷积中动态调整组数是否能在检测鲁棒性和效率方面表现更优？
• RQ5 高度压缩的网络是否能在自动驾驶视觉系统所需的实时、低功耗嵌入式平台上实现高性能？

主要发现

• SoildNet 将可训练参数量减少至基础网络的9.72%，模型大小减少7倍以上，且准确率无损失。
• 最终的 SoildNet 模型在透明类别上的真正例率（TPR）相比基础网络（Net-1）提升了10%，达到59.73%的 TPR。
• SoildNet 在五项标准指标中的四项（TPR、TNR、FPR、FDR）上优于所有其他网络变体，平均 TPR 最高（82.77%），FPR 最低（4.42%）。
• 动态组卷积与通道重排的结合实现了最佳性能，尤其提升了对部分遮挡（透明）像素块的检测能力。
• Net-2（采用静态组卷积与通道重排）在清洁像素块上表现良好，但在透明类别上失败，凸显了动态自适应的必要性。
• 图4的可视化结果证实，与所有其他变体相比，SoildNet 生成了更准确、更一致的像素级预测，误报极少，且对污损区域的定位更优。