[论文解读] Recognizing License Plates in Real-Time

Xuewen Yang, Xin Wang|arXiv (Cornell University)|Jun 11, 2019

Vehicle License Plate Recognition参考文献 26被引用 5

一句话总结

该论文提出了一套实时车牌检测与识别（LPDR）系统，结合轮廓重建实现鲁棒的车牌定位，采用零一交替法去除虚假边框，并利用融合数据增强、SIFT特征和迁移学习的混合CNN模型以克服过拟合问题。该系统在AOLP数据集上实现95 FPS的处理速度，同时保持93.5%的识别率，达到当前最优的准确率与速度表现。

ABSTRACT

License plate detection and recognition (LPDR) is of growing importance for enabling intelligent transportation and ensuring the security and safety of the cities. However, LPDR faces a big challenge in a practical environment. The license plates can have extremely diverse sizes, fonts and colors, and the plate images are usually of poor quality caused by skewed capturing angles, uneven lighting, occlusion, and blurring. In applications such as surveillance, it often requires fast processing. To enable real-time and accurate license plate recognition, in this work, we propose a set of techniques: 1) a contour reconstruction method along with edge-detection to quickly detect the candidate plates; 2) a simple zero-one-alternation scheme to effectively remove the fake top and bottom borders around plates to facilitate more accurate segmentation of characters on plates; 3) a set of techniques to augment the training data, incorporate SIFT features into the CNN network, and exploit transfer learning to obtain the initial parameters for more effective training; and 4) a two-phase verification procedure to determine the correct plate at low cost, a statistical filtering in the plate detection stage to quickly remove unwanted candidates, and the accurate CR results after the CR process to perform further plate verification without additional processing. We implement a complete LPDR system based on our algorithms. The experimental results demonstrate that our system can accurately recognize license plate in real-time. Additionally, it works robustly under various levels of illumination and noise, and in the presence of car movement. Compared to peer schemes, our system is not only among the most accurate ones but is also the fastest, and can be easily applied to other scenarios.

研究动机与目标

• 解决在光照不良、运动模糊及车牌外观多变等复杂条件下实现实时、高精度车牌识别的挑战。
• 缓解因多样车牌类型训练数据有限而导致的基于CNN的字符识别过拟合问题。
• 通过去除噪声和虚假边框，提升候选车牌的鲁棒性，增强检测稳定性。
• 通过引入两阶段验证系统，避免冗余计算，降低处理开销。
• 在动态环境（如移动车辆）中实现高速性能，同时不牺牲识别准确率。

提出的方法

• 提出一种基于边缘检测的轮廓重建方法，即使在轮廓不完整或扭曲的情况下，也能实现车牌的准确定位。
• 引入零一交替方案，有效去除检测到的车牌上下方的虚假边框，提升字符分割的准确性。
• 设计一种融合数据增强、SIFT特征向量和迁移学习的混合CNN模型，以增强泛化能力并减少过拟合。
• 通过在ImageNet预训练权重基础上初始化CNN，再在自定义车牌字符数据上进行微调，实现迁移学习。
• 实施两阶段验证机制：在检测阶段通过统计过滤剔除假阳性样本；在LPR后处理阶段利用高精度识别结果进行最终确认。
• 对整个LPDR流水线进行优化，通过高效算法设计和减少冗余处理，实现极低延迟的实时性能。

实验结果

研究问题

• RQ1 轮廓重建与基于边缘的检测方法是否能在图像质量差的真实场景中实现快速且准确的车牌定位？
• RQ2 零一交替法在去除虚假边框并提升字符分割效果方面有多高效？
• RQ3 数据增强、SIFT特征和迁移学习在缓解基于CNN的车牌字符识别中过拟合问题方面，其作用程度如何？
• RQ4 两阶段验证系统是否能在不显著增加计算成本的前提下提升检测准确率？
• RQ5 所提出的系统在涉及移动车辆和光照多变的实时场景中表现如何？

主要发现

• 该系统在AOLP数据集上实现95 FPS的处理速度，是所有对比方法中最快的。
• 在AOLP子集AC上，系统识别率达到93.5%，在准确率与速度方面均优于所有其他方法。
• 混合CNN模型在36个字符上的分类准确率达到96.4%，显著优于基础CNN（84.8%）和SIFT-CNN（91.8%）。
• 在包含运动模糊图像的LongIsland数据集上，系统保持84.3%的检测精确率和82.7%的召回率，优于EC-LDA在两项指标及速度上的表现。
• 两阶段验证机制通过早期过滤假阳性样本，减少后续验证步骤，显著降低处理开销。
• 系统在光照变化、噪声干扰和运动模糊条件下表现出强鲁棒性，保持高准确率，而其他系统则显著下降。