[论文解读] What If We Only Use Real Datasets for Scene Text Recognition? Toward Scene Text Recognition With Fewer Labels

Jeonghun Baek, Yusuke Matsui+1 more|arXiv (Cornell University)|Mar 7, 2021

Handwritten Text Recognition Techniques参考文献 72被引用 6

一句话总结

本文挑战了场景文本识别（STR）模型需要大规模合成数据集的普遍观点，通过证明仅使用真实、公开的标注数据即可实现最先进性能，从而提出新方法。通过整合2011至2019年间多个基准数据集中的27.6万张真实标注样本，并结合简单的数据增强与自监督学习技术，作者在不使用任何合成数据的情况下实现了具有竞争力的准确率，标志着首个完全基于真实标签训练的STR系统成功实现。

ABSTRACT

Scene text recognition (STR) task has a common practice: All state-of-the-art STR models are trained on large synthetic data. In contrast to this practice, training STR models only on fewer real labels (STR with fewer labels) is important when we have to train STR models without synthetic data: for handwritten or artistic texts that are difficult to generate synthetically and for languages other than English for which we do not always have synthetic data. However, there has been implicit common knowledge that training STR models on real data is nearly impossible because real data is insufficient. We consider that this common knowledge has obstructed the study of STR with fewer labels. In this work, we would like to reactivate STR with fewer labels by disproving the common knowledge. We consolidate recently accumulated public real data and show that we can train STR models satisfactorily only with real labeled data. Subsequently, we find simple data augmentation to fully exploit real data. Furthermore, we improve the models by collecting unlabeled data and introducing semi- and self-supervised methods. As a result, we obtain a competitive model to state-of-the-art methods. To the best of our knowledge, this is the first study that 1) shows sufficient performance by only using real labels and 2) introduces semi- and self-supervised methods into STR with fewer labels. Our code and data are available: https://github.com/ku21fan/STR-Fewer-Labels

研究动机与目标

• 挑战广泛持有的观点，即真实数据不足以训练高性能场景文本识别（STR）模型。
• 证明近年来公开真实数据集的积累，已使仅使用真实标签训练STR模型并实现具有竞争力性能成为可能。
• 开发有效的数据增强与自监督学习技术，以在真实标注数据有限的情况下最大化模型性能。
• 评估在半监督与自监督学习框架中，结合真实数据与未标注数据对STR模型性能的影响。
• 为STR建立新基准，尤其针对手写体或艺术字体等难以生成合成数据的领域，实现更少标签下的高性能。

提出的方法

• 作者整合了2011年至2019年间发布的多个真实标注数据集，包括SVT、IIIT5K、IC13、IC15、CUTE80、COCO-Text、RCTW、Uber-Text、ArT、LSVT、MLT19、ReCTS及其他数据集，总计27.6万张样本。
• 应用简单但有效的数据增强技术，以提升真实训练数据的多样性与鲁棒性。
• 收集未标注数据，并在半监督学习框架中使用，以提升模型泛化能力。
• 引入自监督学习，以利用未标注数据，增强特征学习而无需额外标注。
• 在标准STR基准上对方法进行评估，使用CRNN与TRBA等模型，并通过消融实验分离各模块的贡献。
• 在混合设置中测试该框架，同时使用合成与真实数据，以评估模型的可迁移性。

Figure 1 : Accuracy vs. number of accumulated real labeled data. Every two years, public real data has been accumulated. In our experiments, we find that accuracy obtained using real data approaches that obtained using synthetic data, along with increment of real data. CRNN [ CRNN ] and TRBA [ TRBA

实验结果

研究问题

• RQ1 仅使用真实标注数据，场景文本识别模型能否实现具有竞争力的性能，而无需依赖合成数据？
• RQ2 仅使用真实数据训练的STR模型性能，与在大规模合成数据集上训练的模型相比如何？
• RQ3 在真实标签有限的情况下，哪些数据增强与自监督学习技术最有效于提升STR性能？
• RQ4 在半监督与自监督学习范式中，使用未标注数据能否显著提升STR模型性能？
• RQ5 所提出的仅使用真实数据的方法在合成数据不可用或不切实际的场景中是否具备可迁移性与有效性？

主要发现

• 整合后的27.6万张真实数据集使STR模型性能接近使用1600万张合成样本训练的模型。
• 数据增强显著提升了仅使用真实数据训练的STR模型的泛化能力与鲁棒性。
• 自监督与半监督学习技术有效利用了未标注数据，进一步提升了真实数据上的模型性能。
• 所提出的仅使用真实数据的方法在性能上与依赖合成数据的最先进方法具有可比性。
• 本研究证明，鉴于近年来真实数据的积累，认为真实数据不足以支撑STR的普遍观点已不再成立。
• 该方法在混合设置中同样有效，当同时使用真实与合成数据时，表现出强劲性能。

(a) MJ word boxes