[论文解读] Revisiting Scene Text Recognition: A Data Perspective

Qing Jiang, Jiapeng Wang+3 more|arXiv (Cornell University)|Jul 17, 2023

Handwritten Text Recognition Techniques被引用 4

一句话总结

本文從數據中心的視角重新評估場景文字識別（STR），揭示儘管標準基線上的準確率已達飽和，但由於數據分佈偏移，實際應用中的表現仍不理想。透過引入Union14M——一個包含400萬張標註影像與1000萬張未標註影像的大規模真實世界數據集，本文識別出七項開放性挑戰，並證明在未標註數據上進行自監督預訓練可顯著提升STR的魯棒性，進而透過基於視覺變壓器的模型（MAERec）實現最尖端的性能表現。

ABSTRACT

This paper aims to re-assess scene text recognition (STR) from a data-oriented perspective. We begin by revisiting the six commonly used benchmarks in STR and observe a trend of performance saturation, whereby only 2.91% of the benchmark images cannot be accurately recognized by an ensemble of 13 representative models. While these results are impressive and suggest that STR could be considered solved, however, we argue that this is primarily due to the less challenging nature of the common benchmarks, thus concealing the underlying issues that STR faces. To this end, we consolidate a large-scale real STR dataset, namely Union14M, which comprises 4 million labeled images and 10 million unlabeled images, to assess the performance of STR models in more complex real-world scenarios. Our experiments demonstrate that the 13 models can only achieve an average accuracy of 66.53% on the 4 million labeled images, indicating that STR still faces numerous challenges in the real world. By analyzing the error patterns of the 13 models, we identify seven open challenges in STR and develop a challenge-driven benchmark consisting of eight distinct subsets to facilitate further progress in the field. Our exploration demonstrates that STR is far from being solved and leveraging data may be a promising solution. In this regard, we find that utilizing the 10 million unlabeled images through self-supervised pre-training can significantly improve the robustness of STR model in real-world scenarios and leads to state-of-the-art performance.

研究动机与目标

• 透過挑戰基線數據集反映問題已解決的假設，重新評估當前場景文字識別（STR）的狀態。
• 識別現有STR基線的限制，這些基線因過於簡單且缺乏真實世界複雜性，導致性能飽和。
• 建立一個大規模、面向真實世界場景的數據集（Union14M），以揭示真實世界STR場景中持續存在的挑戰。
• 建立以挑戰為導向的基線，包含八個子集，以系統性地評估STR模型在七項新識別出的真實世界挑戰上的表現。
• 探索以數據為中心的解決方案——特別是利用海量未標註數據進行自監督預訓練——以提升真實世界場景中STR的魯棒性。

提出的方法

• 整合Union14M，一個大規模真實世界STR數據集，包含來自17個公開來源的400萬張標註影像（Union14M-L）與1000萬張未標註影像（Union14M-U）。
• 在Union14M-L上評估13種具有代表性的STR模型，發現其準確率顯著下降至66.53%，相較於基線的87.03%，顯示存在分佈偏移問題。
• 識別出STR中的七項開放性挑戰：曲線文字、多方向文字、無上下文文字、藝術字、多單詞文字、顯著文字與不完整文字。
• 從Union14M-L中建立以挑戰為導向的基線，包含40萬張通用樣本與9,383張挑戰專用樣本，以實現針對性評估。
• 提出MAERec，一種基於視覺變壓器的STR模型，利用Union14M-U中的自監督掩碼影像建模預訓練，學習強健的視覺-文字表徵。
• 在預訓練後，於Union14M-L上微調MAERec，進而在標準基線與新設計的挑戰驅動基線中均實現最尖端性能。

Figure 1: Average accuracy of STR models on six commonly used benchmarks as reported in their original papers. Models are trained with synthetic data.

实验结果

研究问题

• RQ1 在觀察到性能飽和的情況下，當前STR基線在多大程度上真正反映了真實世界挑戰？
• RQ2 當部署於真實世界、複雜場景時，最尖端STR模型的主要失敗模式為何？
• RQ3 在合成數據上訓練的STR模型，其性能在大規模真實世界數據集（如Union14M）上評估時會如何退化？
• RQ4 現有研究中哪些真實世界文字識別挑戰被低估？又如何系統性地進行評估？
• RQ5 在海量未標註真實世界影像上進行自監督預訓練，是否能顯著提升STR的泛化能力與魯棒性？

主要发现

• 標準基線上的性能飽和（平均準確率87.03%）掩蓋了真實世界中顯著的性能下降，STR模型在Union14M-L上的準確率僅為66.53%。
• 在13種模型中，僅有2.91%的基線影像被任意模型誤識別，但若排除人類難以辨識的樣本，此數字降至1.53%，顯示當前基線的改進空間極小。
• 13種模型在七項不同的真實世界挑戰中失敗：曲線文字、多方向文字、無上下文文字、藝術字、多單詞文字、顯著文字與不完整文字。
• 所提出的挑戰驅動基線顯示，即使經過真實數據微調，當前最尖端模型的平均準確率僅達74.6%，確認STR在真實世界場景中仍未能解決。
• 在Union14M-U中1000萬張未標註影像上進行自監督預訓練，使STR模型在Union14M-Benchmark上的準確率提升5.1%，並透過MAERec實現最尖端性能（使用ViT-Base時在標準基線上的準確率達96.2%）。
• 儘管使用較少數據，MAERec仍優於其他自監督STR方法，突顯自監督預訓練中數據品質與分佈的重要性。

Figure 2: Error analysis on the six STR benchmarks.