[论文解读] Towards End-to-End Car License Plates Detection and Recognition with Deep Neural Networks

Hui Li, Peng Wang+1 more|arXiv (Cornell University)|Sep 26, 2017

Vehicle License Plate Recognition参考文献 17被引用 40

一句话总结

本文提出了一种端到端的深度学习框架，通过统一的卷积神经网络与循环神经网络联合检测并识别车牌。通过在检测与识别分支之间共享特征，并端到端训练整个网络，该方法实现了高精度与高效率，减少了误差累积，并消除了中间处理步骤。

ABSTRACT

In this work, we tackle the problem of car license plate detection and recognition in natural scene images. We propose a unified deep neural network which can localize license plates and recognize the letters simultaneously in a single forward pass. The whole network can be trained end-to-end. In contrast to existing approaches which take license plate detection and recognition as two separate tasks and settle them step by step, our method jointly solves these two tasks by a single network. It not only avoids intermediate error accumulation, but also accelerates the processing speed. For performance evaluation, three datasets including images captured from various scenes under different conditions are tested. Extensive experiments show the effectiveness and efficiency of our proposed approach.

研究动机与目标

• 解决传统两阶段车牌检测与识别流水线存在的误差传播与效率低下问题。
• 开发一种统一的深度神经网络，通过一次前向传播同时完成检测与识别。
• 通过共享特征学习联合优化检测与识别任务，提升两者精度。
• 通过将识别直接集成到检测流水线中，消除字符分组、分离或裁剪等启发式后处理步骤。
• 实现实时应用所需的高速推理，适用于成像条件多样的非受控环境。

提出的方法

• 设计一种统一的深度神经网络架构，结合卷积神经网络（CNN）进行特征提取，区域建议网络（RPN）生成车牌候选区域，以及多层感知机（MLPs）进行边界框回归与分类。
• 集成双向长短期记忆（BLSTM）网络进行基于序列的车牌识别，直接处理检测分支的特征。
• 在检测与识别分支之间共享相同的卷积特征图，以减少模型大小并提升参数效率。
• 使用联合损失函数端到端训练整个网络，损失函数包含检测损失（分类与边界框回归）与识别损失（序列到序列交叉熵）。
• 应用尺度不变的平移与对数空间的高度/宽度偏移，以提升不同尺度下的边界框预测鲁棒性。
• 使用非极大值抑制（NMS）过滤重叠检测结果，尽管论文指出NMS占处理时间约50%，是未来优化的重点。

实验结果

研究问题

• RQ1 在单一深度神经网络中联合训练车牌检测与识别，是否能相比独立模型提升整体性能？
• RQ2 在检测与识别分支之间共享卷积特征，在多大程度上提升了模型效率与精度？
• RQ3 在无中间处理步骤的端到端训练下，检测与识别精度在复杂真实场景中如何变化？
• RQ4 所提出的框架能否在不同光照、遮挡与视角变化等多样成像条件下保持高性能？
• RQ5 与现有两阶段或独立模型相比，该联合框架的计算效率如何？

主要发现

• 在PKUData数据集上，联合训练模型的平均检测率达到99.80%，比之前最佳方法高出2%。
• 在AOLP数据集上，该方法在AC集上达到95.29%的检测准确率，LE集上为96.57%，RP集上为83.63%；对应识别准确率分别为99.56%、99.34%与98.85%。
• 仅检测版本的模型在PKUData上的平均检测率为99.58%，而联合训练版本达到99.80%，表明识别监督可提升检测性能。
• 该模型在Titan X GPU上每张图像处理时间为0.3–0.4秒，显著快于先前方法（如Li等人，1000–2000 ms）。
• 该方法在所有三个数据集（AOLP、PKUData与CarFlag-Large）上均优于最先进方法，展现出对多种车牌类型与成像条件的鲁棒性。
• 将识别集成到检测流水线中，减少了对后处理步骤（如裁剪与字符分离）的依赖，简化了推理流程。