[论文解读] SamLP: A Customized Segment Anything Model for License Plate Detection

Haoxuan Ding, Junyu Gao+2 more|arXiv (Cornell University)|Jan 12, 2024

Vehicle License Plate Recognition被引用 4

一句话总结

该论文提出 SamLP，首个基于 Segment Anything Model (SAM) 的车牌检测模型，利用 LoRA 实现参数高效的微调，以将 SAM 适配于车牌检测任务。此外，该工作引入了一种可提示微调策略，以保留 SAM 的基于提示的分割能力，从而在多样化的车牌数据集上实现了最先进的性能，展现出强大的少样本和零样本泛化能力。

ABSTRACT

With the emergence of foundation model, this novel paradigm of deep learning has encouraged many powerful achievements in natural language processing and computer vision. There are many advantages of foundation model, such as excellent feature extraction power, mighty generalization ability, great few-shot and zero-shot learning capacity, etc. which are beneficial to vision tasks. As the unique identity of vehicle, different countries and regions have diverse license plate (LP) styles and appearances, and even different types of vehicles have different LPs. However, recent deep learning based license plate detectors are mainly trained on specific datasets, and these limited datasets constrain the effectiveness and robustness of LP detectors. To alleviate the negative impact of limited data, an attempt to exploit the advantages of foundation model is implement in this paper. We customize a vision foundation model, i.e. Segment Anything Model (SAM), for LP detection task and propose the first LP detector based on vision foundation model, named SamLP. Specifically, we design a Low-Rank Adaptation (LoRA) fine-tuning strategy to inject extra parameters into SAM and transfer SAM into LP detection task. And then, we further propose a promptable fine-tuning step to provide SamLP with prompatable segmentation capacity. The experiments show that our proposed SamLP achieves promising detection performance compared to other LP detectors. Meanwhile, the proposed SamLP has great few-shot and zero-shot learning ability, which shows the potential of transferring vision foundation model. The code is available at https://github.com/Dinghaoxuan/SamLP

研究动机与目标

• 为解决现有基于深度学习的车牌检测器因依赖狭窄且有偏见的训练数据集而导致泛化能力与鲁棒性有限的问题。
• 探索视觉基础模型（特别是 SAM）在车牌检测任务中的潜力，通过定制化适配以实现该任务的应用。
• 通过采用参数高效的微调（LoRA）方法，克服大规模基础模型微调带来的计算负担。
• 在适配过程中保留 SAM 的基于提示的分割能力，以支持未来通过用户提供的提示进行模型优化。
• 在多样化的车牌样式与地区数据集上，评估所提出模型的少样本与零样本泛化性能。

提出的方法

• 使用低秩适应（LoRA）对 SAM 的图像编码器与掩码解码器进行微调，通过引入低秩矩阵，高效地将基础模型适配于车牌检测任务，而无需进行完整的微调。
• 在 LoRA 微调之后引入可提示微调步骤，以恢复并增强 SAM 利用点提示、边界框提示或掩码提示生成准确掩码的能力。
• 在推理阶段采用级联迭代优化机制，通过逐步使用提示对预测结果进行精细化处理，以提升分割精度。
• 通过消融实验选择最优的 LoRA 秩（r=4），在模型大小与检测性能之间实现良好平衡。
• 评估不同提示类型（无提示、点提示、掩码提示、以及两者结合）下的推理性能，以确定最有效的提示策略。
• 在未来工作中应用知识蒸馏技术，以减少推理时间并提升基于基础模型的检测器效率。

实验结果

研究问题

• RQ1 尽管在不同地区与车型中车牌样式与外观存在显著差异，视觉基础模型（如 SAM）是否仍能被有效适配用于车牌检测？
• RQ2 与完整微调相比，基于 LoRA 的参数高效微调在车牌检测任务中的检测精度与计算效率表现如何？
• RQ3 在 LoRA 微调后，SAM 的基于提示的分割能力在多大程度上被保留或退化？是否可通过额外的可提示微调实现恢复？
• RQ4 在适配后的 SamLP 模型中，推理阶段最优的提示策略（点提示、掩码提示或两者结合）是什么？
• RQ5 所提出的 SamLP 在多样化的车牌数据集上，在少样本与零样本设置下的泛化能力如何？

主要发现

• 在推理阶段不使用任何提示时，SamLP 在测试集上达到 96.8 的 F1 分数与 94.9 的 mAP，展现出强大的基础检测性能。
• 经过可提示微调后，SamLP_P 使用掩码提示实现 96.9 的 F1 分数与 95.2 的 mAP，优于原始的 SamLP 及其他车牌检测器。
• 在推理中使用点提示导致性能下降（F1 分数降至 96.3，mAP 降至 94.3），可能源于初始错误预测的误差传播。
• 掩码提示提供了更丰富的上下文信息，使得后续优化更有效，从而获得比点提示更高的精度；而点提示对初始预测错误更为敏感。
• 最优的 LoRA 秩为 r=4，因为更高的秩并未带来显著性能提升，但会增加参数量。
• 采用单次迭代优化（Num=1）的级联迭代优化机制在精度与推理速度之间实现了最佳平衡，且计算开销极低。