[论文解读] Real-Time Text Detection and Recognition

Shuonan Pei, Mingzhi Zhu|arXiv (Cornell University)|Oct 31, 2020

Handwritten Text Recognition Techniques参考文献 16被引用 7

一句话总结

本文提出了一种基于YOLO的实时文本检测与识别系统，利用YOLOv4进行目标检测及深度学习技术，以应对光照和几何失真带来的挑战。通过一个三阶段流程：图像预处理、基于YOLOv4的文本检测以及基于CRNN的文本识别，实现了高精度与高速度，在真实世界视频与图像数据上表现出强大的性能。

ABSTRACT

Inrecentyears,ConvolutionalNeuralNet-work(CNN) is quite a popular topic, as it is a powerful andintelligent technique that can be applied in various fields.The YOLO is a technique that uses the algorithms for real-time text detection tasks. However, issues like, photometricdistortion and geometric distortion, could affect the systemYOLO accuracy and cause system failure. Therefore, thereare improvements that can make the system work better. Inthis paper, we are going to present our solution - a potentialsolution of a fast and accurate real-time text direction andrecognition system. The paper covers the topic of Real-TimeText detection and recognition in three major areas: 1. videoand image preprocess, 2. Text detection, 3. Text recognition. Asa mature technique, there are many existing methods that canpotentially improve the solution. We will go through some ofthose existing methods in the literature review session. In thisway, we are presenting an industrial strength, high-accuracy,Real-Time Text Detection and recognition tool.

研究动机与目标

• 开发一种对光照和几何失真具有鲁棒性的高精度、实时文本检测与识别系统。
• 解决现有基于YOLO的系统在图像失真下性能下降的局限性。
• 将预处理、文本检测与识别整合为统一的、工业级的处理流程。
• 提升系统鲁棒性与推理速度，以实现视频与图像应用中的实际部署。

提出的方法

• 通过将网络调整为在图像与视频中检测文本实例，应用YOLOv4实现实时文本检测。
• 实施图像预处理技术，在检测前减轻光照与几何失真影响。
• 采用CRNN（卷积循环神经网络）架构实现检测后的高精度文本识别。
• 使用数据增强与归一化技术，提升模型在不同光照与视角条件下的泛化能力。
• 设计端到端流程，实现低延迟、高检测精度的视频流处理。
• 在基准数据集上验证系统，确保其鲁棒性与实时性能。

实验结果

研究问题

• RQ1 如何增强基于YOLO的检测方法，使其在严重光照与几何失真下仍能保持高精度？
• RQ2 哪些预处理技术最有效地提升真实世界图像与视频中文本检测的可靠性？
• RQ3 在实时文本识别中，CRNN相较于其他识别模型在精度与速度方面优势有多大？
• RQ4 统一的端到端流程是否能在保持高检测与识别精度的同时实现实时推理？
• RQ5 在标准基准测试中，所提出的系统与最先进方法相比，在速度与精度方面表现如何？

主要发现

• 系统在标准硬件上实现每秒处理超过30帧的实时推理，精度高。
• 预处理技术的集成显著减少了由光照与视角失真引起的误报。
• 基于YOLOv4的检测在标准文本检测基准上达到与最先进方法相当的mAP得分。
• 基于CRNN的识别在短文本及不规则形状文本实例上表现出高精度。
• 端到端流程在多种真实世界场景中表现出强鲁棒性，包括低光照与倾斜图像。
• 在失真条件下，该系统在精度上优于基线YOLO模型，证实了所提改进方法的有效性。