[论文解读] Real-time information retrieval from Identity cards

Niloofar Tavakolian, Azadeh Nazemi+1 more|arXiv (Cornell University)|Mar 26, 2020

Handwritten Text Recognition Techniques参考文献 9被引用 7

一句话总结

本文提出了一种基于深度学习的实时流水线，用于从身份证中实现快速且准确的信息检索，重点聚焦于OCR前处理阶段，如倾斜校正、人脸检测、自动裁剪和文本分割。通过使用EAST进行文本检测和DNN进行人脸检测，替代传统方法，系统将处理时间从0.7秒减少至0.07秒，并在多方法流水线中实现了96%的倾斜检测准确率，显著提升了身份验证系统在速度和可靠性方面的表现。

ABSTRACT

Information is frequently retrieved from valid personal ID cards by the authorised organisation to address different purposes. The successful information retrieval (IR) depends on the accuracy and timing process. A process which necessitates a long time to respond is frustrating for both sides in the exchange of data. This paper aims to propose a series of state-of-the-art methods for the journey of an Identification card (ID) from the scanning or capture phase to the point before Optical character recognition (OCR). The key factors for this proposal are the accuracy and speed of the process during the journey. The experimental results of this research prove that utilising the methods based on deep learning, such as Efficient and Accurate Scene Text (EAST) detector and Deep Neural Network (DNN) for face detection, instead of traditional methods increase the efficiency considerably.

研究动机与目标

• 减少身份证信息检索中的处理时间并提高准确性。
• 解决身份证处理中的挑战，如倾斜、旋转、噪声和布局不一致问题。
• 用深度学习模型替代传统图像处理方法，以提升预OCR阶段的性能。
• 开发一个稳健的流水线，实现自动裁剪、人脸检测和文本分割，支持后续OCR和数据验证。
• 通过自动化、可扩展的预处理，实现可靠、实时的身份数据验证。

提出的方法

• 采用多阶段流水线，结合FFT/MSE、霍夫变换与Canny边缘检测，以及F ̵́elix Abecassis的方法，实现倾斜和旋转校正。
• 使用深度神经网络（DNN）进行人脸检测与提取，相比传统方法，准确率提升10%，处理时间减少0.75%。
• 应用形态学操作（blackhat、矩形和方形核）从护照页面中检测并提取机器可读区（MRZ）。
• 使用MSER（最大稳定外部区域）和EAST（高效且准确的场景文本）进行文本分割，其中EAST在速度和鲁棒性方面表现更优。
• 实施一种投票系统，结合MSER、EAST和轮廓特性，以提升自动裁剪的准确性。
• 通过分析自动裁剪后的宽高比检测90/180度旋转，并在必要时应用校正旋转。

实验结果

研究问题

• RQ1 基于深度学习的流水线是否能显著缩短身份证信息检索的处理时间，同时保持或提升准确性？
• RQ2 与单一方法相比，多方法组合（FFT、霍夫变换、Abecassis方法）在检测倾斜和旋转方面的有效性如何？
• RQ3 将MSER替换为EAST在实时系统中文本分割中的速度和可靠性方面提升程度如何？
• RQ4 与传统方法相比，基于DNN的人脸检测在身份证图像上的准确率和处理时间方面表现如何？
• RQ5 基于连通组件和轮廓检测的自动化自动裁剪是否能在速度和精度上超越人工或复杂的角点检测方法？

主要发现

• 将MSER替换为EAST进行文本分割后，处理时间从0.7秒降至0.07秒，提升10倍。
• 多方法倾斜检测流水线实现了96%的真正例率，显著优于单一方法在低文本密度场景下的表现。
• 基于DNN的人脸检测相比传统方法，准确率提升10%，处理时间减少0.75%。
• 结合MSER、EAST和轮廓分析的投票系统，产生的自动裁剪结果比单一方法更可靠。
• 系统通过形态学操作成功提取MRZ数据，实现了护照信息的机器可读验证。
• 整体流水线支持实时处理，并可通过年龄、性别和签名识别模块实现后续验证。