[论文解读] RHA-Net: An Encoder-Decoder Network with Residual Blocks and Hybrid Attention Mechanisms for Pavement Crack Segmentation

Guijie Zhu, Zhun Fan+6 more|arXiv (Cornell University)|Jul 28, 2022

Infrastructure Maintenance and Monitoring被引用 8

一句话总结

本文提出RHA-Net，一种基于残差块和混合注意力机制的编码器-解码器卷积神经网络，用于实现高精度、实时的路面裂缝分割。通过整合特征融合与注意力机制，RHA-Net在实现最先进性能的同时，还推出了轻量化版本（RHA-Net*），其参数量仅为U-Net的1/30，在嵌入式设备上实现了25 FPS的实时推理速度。

ABSTRACT

The acquisition and evaluation of pavement surface data play an essential role in pavement condition evaluation. In this paper, an efficient and effective end-to-end network for automatic pavement crack segmentation, called RHA-Net, is proposed to improve the pavement crack segmentation accuracy. The RHA-Net is built by integrating residual blocks (ResBlocks) and hybrid attention blocks into the encoder-decoder architecture. The ResBlocks are used to improve the ability of RHA-Net to extract high-level abstract features. The hybrid attention blocks are designed to fuse both low-level features and high-level features to help the model focus on correct channels and areas of cracks, thereby improving the feature presentation ability of RHA-Net. An image data set containing 789 pavement crack images collected by a self-designed mobile robot is constructed and used for training and evaluating the proposed model. Compared with other state-of-the-art networks, the proposed model achieves better performance and the functionalities of adding residual blocks and hybrid attention mechanisms are validated in a comprehensive ablation study. Additionally, a light-weighted version of the model generated by introducing depthwise separable convolution achieves better a performance and a much faster processing speed with 1/30 of the number of U-Net parameters. The developed system can segment pavement crack in real-time on an embedded device Jetson TX2 (25 FPS). The video taken in real-time experiments is released at https://youtu.be/3XIogk0fiG4.

研究动机与目标

• 为解决在背景复杂多变、裂缝类型多样等现实复杂条件下，实现高精度且高效的自动路面裂缝分割挑战。
• 在保留低层次特征的同时，提升对微小裂缝的特征表示能力，同时抑制背景噪声与干扰。
• 开发一种计算效率高的模型，可部署于嵌入式系统，实现车辆上实时路面检测。
• 验证残差块与混合注意力机制在提升分割精度与鲁棒性方面的有效性。
• 构建一个多样化、真实世界中的路面裂缝数据集，用于模型训练与评估。

提出的方法

• RHA-Net架构结合了U-Net主干网络与残差块（ResBlocks），以增强层次化特征学习与梯度流动。
• 在编码器与解码器之间插入混合注意力块（HABs），基于通道注意力与空间注意力，动态加权并融合低层次与高层次特征。
• HABs采用挤压-激励机制对特征图进行重校准，聚焦于裂缝相关的通道与空间区域。
• 轻量化变体RHA-Net*将标准卷积替换为深度可分离卷积，显著降低模型参数量与FLOPs。
• 模型在自建的789张路面裂缝图像数据集上进行训练与评估，数据由自研移动机器人在真实校园道路条件下采集。
• 在Jetson TX2嵌入式设备上验证了实时部署性能，实现约25 FPS的推理速度。

实验结果

研究问题

• RQ1 与标准U-Net架构相比，残差块与混合注意力机制的融合是否能显著提升裂缝分割精度？
• RQ2 混合注意力机制在融合低层次与高层次特征方面有多高效，能否有效提升对细小裂缝的检测能力？
• RQ3 深度可分离卷积在多大程度上可降低模型复杂度，同时保持高分割性能？
• RQ4 轻量化版本RHA-Net*是否能在不牺牲精度的前提下实现实时推理？
• RQ5 在具有复杂背景（如阴影、碎屑、标记等）的真实路面图像上，该模型表现如何？

主要发现

• 在所有四个数据集上，RHA-Net的F1分数均高于所有对比模型，展现出卓越的分割精度。
• 消融实验证实，残差块与混合注意力机制均对性能提升有显著贡献，其中HABs显著增强了对微小裂缝的特征表示能力。
• RHA-Net*将模型参数量减少至0.57 MB（减少65.86%），FLOPs降低至9.68 GFLOPs（减少55.18%），同时保持高精度。
• RHA-Net*在Jetson TX2嵌入式设备上实现约25 FPS的实时推理速度，推理速度较U-Net提升两倍以上。
• 该模型在真实场景中成功分割出粗大与细小裂缝，尽管存在树叶、水渍、阴影等复杂背景，仍保持极低的误报率。
• 在检测具有复杂拓扑结构的裂缝或靠近图像边界的裂缝时仍存在局限，尤其在运动模糊或光照不均条件下。