[论文解读] Towards Real-time and Light-weight Line Segment Detection

Geonmo Gu, Byungsoo Ko+4 more|arXiv (Cornell University)|Jun 1, 2021

Robotics and Sensor-Based Localization参考文献 6被引用 7

一句话总结

本文提出 Mobile LSD（M-LSD），一种专为资源受限环境设计的实时轻量化线段检测器。通过最小化主干网络，并引入 SoL 增强方法与几何学习方案，M-LSD 的模型大小仅为 TP-LSD-Lite 的 2.5%，在 GPU 上的推理速度提升 130.5%，同时在 Android 上实现 56.8 FPS，在 iPhone 上实现 48.6 FPS 的推理速度，成为首个在移动设备上实现端到端实时推理的深度学习 LSD 方法。

ABSTRACT

Previous deep learning-based line segment detection (LSD) suffer from the immense model size and high computational cost for line prediction. This constrains them from real-time inference on computationally restricted environments. In this paper, we propose a real-time and light-weight line segment detector for resource-constrained environments named Mobile LSD (M-LSD). We design an extremely efficient LSD architecture by minimizing the backbone network and removing the typical multi-module process for line prediction in previous methods. To maintain competitive performance with such a light-weight network, we present novel training schemes: Segments of Line segment (SoL) augmentation and geometric learning scheme. SoL augmentation splits a line segment into multiple subparts, which are used to provide auxiliary line data during the training process. Moreover, the geometric learning scheme allows a model to capture additional geometry cues from matching loss, junction and line segmentation, length and degree regression. Compared with TP-LSD-Lite, previously the best real-time LSD method, our model (M-LSD-tiny) achieves competitive performance with 2.5% of model size and an increase of 130.5% in inference speed on GPU when evaluated with Wireframe and YorkUrban datasets. Furthermore, our model runs at 56.8 FPS and 48.6 FPS on Android and iPhone mobile devices, respectively. To the best of our knowledge, this is the first real-time deep LSD method available on mobile devices.

研究动机与目标

• 解决现有基于深度学习的线段检测（LSD）方法计算成本高、模型尺寸大的问题，这些缺点限制了其在资源受限设备上的实时推理能力。
• 通过最小化主干网络并消除多模块处理结构，设计一种轻量化网络架构以实现线段预测。
• 通过创新的训练策略，在实现极端模型压缩的同时保持具有竞争力的检测性能。
• 通过优化低延迟与小模型体积，实现在 Android 和 iPhone 等移动平台上的实时推理。

提出的方法

• 通过移除冗余组件并简化网络结构，提出一种极高效的主干网络架构，以减少模型大小与 FLOPs。
• 提出线段子段（SoL）增强方法，将线段分割为子段以生成辅助训练数据，提升模型泛化能力。
• 设计一种几何学习方案，联合优化匹配损失、关键点检测、线段分割，以及线段长度与角度的回归任务。
• 采用多任务监督策略，整合来自多种监督信号的几何线索，以增强模型对结构的理解。
• 通过模型压缩与高效层设计优化推理速度，实现模型在移动设备上的部署。

实验结果

研究问题

• RQ1 能否通过显著减小深度学习模型规模，在保持竞争力检测性能的同时实现在移动设备上的实时推理？
• RQ2 SoL 增强方法在提升轻量化线段检测器检测精度方面效果如何？
• RQ3 通过整合多种几何监督信号，几何学习方案在多大程度上提升了模型性能？
• RQ4 在实时线段检测中，模型大小、推理速度与精度之间存在怎样的权衡关系？

主要发现

• M-LSD-tiny 的模型大小仅为 TP-LSD-Lite 的 2.5%，同时在 Wireframe 与 YorkUrban 数据集上保持了具有竞争力的检测性能。
• 在 GPU 上，M-LSD-tiny 的推理速度比 TP-LSD-Lite 提高 130.5%，展现出显著的效率优势。
• 该模型在 Android 上实现 56.8 FPS，在 iPhone 上实现 48.6 FPS 的推理速度，证实其在移动平台上的实时推理能力。
• SoL 增强与几何学习方案的结合，即使在模型压缩条件下，也显著提升了检测精度。
• 据作者所知，M-LSD 是首个在移动设备上实现端到端实时推理的基于深度学习的线段检测方法。