[论文解读] Text recognition on images using pre-trained CNN

Afgani Fajar Rizky, Novanto Yudistira+1 more|arXiv (Cornell University)|Feb 10, 2023

Computer Science and Engineering被引用 4

一句话总结

该论文提出了一种使用预训练 VGG-16 CNN 与数据增强技术的文本识别系统，在测试数据上达到 98.16% 的准确率，在 IIIT-5K-Dataset 上达到 95.62% 的准确率。该方法利用 ImageNet 的迁移学习，并应用旋转、缩放和高斯模糊以提升在场景文本识别任务中的鲁棒性和性能。

ABSTRACT

A text on an image often stores important information and directly carries high level semantics, makes it as important source of information and become a very active research topic. Many studies have shown that the use of CNN-based neural networks is quite effective and accurate for image classification which is the basis of text recognition. It can also be more enhanced by using transfer learning from pre-trained model trained on ImageNet dataset as an initial weight. In this research, the recognition is trained by using Chars74K dataset and the best model results then tested on some samples of IIIT-5K-Dataset. The research results showed that the best accuracy is the model that trained using VGG-16 architecture applied with image transformation of rotation 15°, image scale of 0.9, and the application of gaussian blur effect. The research model has an accuracy of 97.94% for validation data, 98.16% for test data, and 95.62% for the test data from IIIT-5K-Dataset. Based on these results, it can be concluded that pre-trained CNN can produce good accuracy for text recognition, and the model architecture that used in this study can be used as reference material in the development of text detection systems in the future

研究动机与目标

• 研究预训练 CNN 在场景文本识别任务中的有效性。
• 评估旋转、缩放和高斯模糊等数据增强技术对模型性能的影响。
• 评估模型在未见数据集（如 IIIT-5K-Dataset）上的泛化能力。
• 识别实现高精度文本识别的最优模型架构与超参数组合。

提出的方法

• 使用 Chars74K 数据集对预训练的 VGG-16 模型进行微调，以实现文本识别。
• 通过图像旋转（15°）、缩放（0.9）和高斯模糊应用数据增强，以提升鲁棒性。
• 通过使用 ImageNet 预训练权重初始化模型，实现迁移学习，以增强特征学习能力。
• 使用交叉熵损失和 Adam 优化器对模型进行端到端训练，以实现分类。
• 在验证集、测试集和 IIIT-5K-Dataset 分割上评估性能，以衡量泛化能力。

实验结果

研究问题

• RQ1 预训练 CNN 是否能在场景文本识别任务中实现高准确率？
• RQ2 特定的数据增强技术如何影响文本识别模型的性能？
• RQ3 实现最大准确率的最优模型架构与数据增强组合是什么？
• RQ4 训练好的模型在未见数据集（如 IIIT-5K-Dataset）上的泛化能力如何？

主要发现

• 表现最佳的模型在使用旋转、缩放和高斯模糊增强的 VGG-16 上，验证集准确率达到 97.94%。
• 在 Chars74K 数据集的测试集上，模型准确率达到 98.16%，表现出强大的泛化能力。
• 在 IIIT-5K-Dataset 上，模型保持了 95.62% 的准确率，表明其在多样化文本图像上的有效迁移能力。
• VGG-16 架构与特定数据增强技术的结合显著提升了识别性能。