[论文解读] Scene Text Image Super-Resolution in the Wild

Wenjia Wang, Enze Xie+5 more|arXiv (Cornell University)|May 7, 2020

Advanced Image Processing Techniques参考文献 47被引用 7

一句话总结

本文提出 TextZoom，首个真实世界中的场景文本超分辨率（SR）配对数据集，并引入 TSRN 模型，该模型采用序列残差块、边界感知损失和中心对齐机制，以提升文本识别准确率。实验表明，与合成数据相比，TSRN 在真实低分辨率文本上的 CRNN 识别准确率提升超过 13%，显著优于当前最先进（SOTA）的 SR 方法。

ABSTRACT

Low-resolution text images are often seen in natural scenes such as documents captured by mobile phones. Recognizing low-resolution text images is challenging because they lose detailed content information, leading to poor recognition accuracy. An intuitive solution is to introduce super-resolution (SR) techniques as pre-processing. However, previous single image super-resolution (SISR) methods are trained on synthetic low-resolution images (e.g.Bicubic down-sampling), which is simple and not suitable for real low-resolution text recognition. To this end, we pro-pose a real scene text SR dataset, termed TextZoom. It contains paired real low-resolution and high-resolution images which are captured by cameras with different focal length in the wild. It is more authentic and challenging than synthetic data, as shown in Fig. 1. We argue improv-ing the recognition accuracy is the ultimate goal for Scene Text SR. In this purpose, a new Text Super-Resolution Network termed TSRN, with three novel modules is developed. (1) A sequential residual block is proposed to extract the sequential information of the text images. (2) A boundary-aware loss is designed to sharpen the character boundaries. (3) A central alignment module is proposed to relieve the misalignment problem in TextZoom. Extensive experiments on TextZoom demonstrate that our TSRN largely improves the recognition accuracy by over 13%of CRNN, and by nearly 9.0% of ASTER and MORAN compared to synthetic SR data. Furthermore, our TSRN clearly outperforms 7 state-of-the-art SR methods in boosting the recognition accuracy of LR images in TextZoom. For example, it outperforms LapSRN by over 5% and 8%on the recognition accuracy of ASTER and CRNN. Our results suggest that low-resolution text recognition in the wild is far from being solved, thus more research effort is needed.

研究动机与目标

• 为解决真实世界中低分辨率场景文本识别的差距，创建一个逼真的超分辨率数据集。
• 开发一种专为场景文本设计的超分辨率方法，其中字符序列和边界清晰度至关重要。
• 克服合成数据在 SR 训练中的局限性，后者无法捕捉自然场景中的真实退化模式。
• 通过利用逼真的超分辨率预处理，提升低分辨率图像上的文本识别准确率。
• 为未来真实世界场景文本超分辨率研究提供基准数据集与模型。

提出的方法

• 提出 TextZoom，一个在自然环境中使用不同焦距拍摄的真实低分辨率与高分辨率场景文本图像的配对数据集。
• 设计序列残差块，以建模文本行中字符之间的序列依赖关系，提升上下文感知的特征学习能力。
• 引入梯度轮廓损失（边界感知损失），以在超分辨率过程中增强字符边界的清晰度。
• 开发中心对齐模块，以减轻由相机移动和变焦引起的低分辨率与高分辨率图像之间的错位问题。
• 使用真实配对数据端到端训练 TSRN 模型，同时优化感知质量和识别性能。
• 采用多尺度策略：以 16–32 像素高度的高分辨率图像作为真实值，其 2 倍下采样版本作为低分辨率输入用于训练。

实验结果

研究问题

• RQ1 与合成数据相比，真实世界中低分辨率与高分辨率场景文本图像的配对数据集是否能提升超分辨率性能？
• RQ2 在文本行中建模字符之间的序列关系，对超分辨率质量及后续识别准确率有何影响？
• RQ3 通过梯度轮廓损失强制增强边界清晰度，在超分辨率图像上的字符识别性能提升程度如何？
• RQ4 中心对齐在减少真实世界场景文本超分辨率中的错位伪影方面有多有效？
• RQ5 在真实数据上训练的超分辨率模型是否能显著提升低分辨率场景文本的识别准确率？

主要发现

• 与使用合成 SR 数据作为预处理相比，TSRN 在真实低分辨率文本图像上的 CRNN 识别准确率提升超过 13%。
• 当使用合成 SR 数据作为预处理时，TSRN 的识别准确率比 ASTER 和 MORAN 高近 9.0%。
• 在 TextZoom 数据集上，TSRN 在提升低分辨率场景文本识别准确率方面优于七种当前最先进（SOTA）的 SR 方法。
• 在 TextZoom 的困难子集上，低分辨率图像的识别准确率下降至 31.6%，凸显了真实世界退化带来的挑战。
• 高度低于 8 像素的图像识别准确率接近零，因此将其从数据集中排除是合理的。
• 边界感知损失显著增强了字符边界的清晰度，从而提升了识别性能。