[论文解读] Optimal Boxes: Boosting End-to-End Scene Text Recognition by Adjusting Annotated Bounding Boxes via Reinforcement Learning

Jingqun Tang, Wenming Qian+4 more|arXiv (Cornell University)|Jul 25, 2022

Handwritten Text Recognition Techniques被引用 4

一句话总结

本文提出Box Adjuster，一种基于强化学习的方法，通过优化标注的文本边界框以提升端到端场景文本识别性能。通过使用基于识别的奖励信号，训练BoxDQN智能体利用前景、背景和坐标特征调整框形状，该方法在基准测试中平均提升F-Score 2.0%，在域适应任务中提升4.6%，且无推理开销。

ABSTRACT

Text detection and recognition are essential components of a modern OCR system. Most OCR approaches attempt to obtain accurate bounding boxes of text at the detection stage, which is used as the input of the text recognition stage. We observe that when using tight text bounding boxes as input, a text recognizer frequently fails to achieve optimal performance due to the inconsistency between bounding boxes and deep representations of text recognition. In this paper, we propose Box Adjuster, a reinforcement learning-based method for adjusting the shape of each text bounding box to make it more compatible with text recognition models. Additionally, when dealing with cross-domain problems such as synthetic-to-real, the proposed method significantly reduces mismatches in domain distribution between the source and target domains. Experiments demonstrate that the performance of end-to-end text recognition systems can be improved when using the adjusted bounding boxes as the ground truths for training. Specifically, on several benchmark datasets for scene text understanding, the proposed method outperforms state-of-the-art text spotters by an average of 2.0% F-Score on end-to-end text recognition tasks and 4.6% F-Score on domain adaptation tasks.

研究动机与目标

• 解决紧致标注的文本边界框与文本识别模型中使用的深度表征之间的不一致性。
• 通过学习最优边界框形状以最大化识别置信度，提升端到端场景文本识别性能。
• 通过优化真实标注，减少合成到真实设置等跨域场景中的域偏移。
• 开发一种通用的、仅在训练阶段使用的预处理方法，无需额外推理开销。
• 将方法扩展至任意形状文本，采用贝塞尔曲线表示。

提出的方法

• 训练一个强化学习框架BoxDQN，通过调整边界框坐标（x, y, 宽度, 高度, 旋转角）以最大化识别置信度。
• BoxDQN智能体使用特征融合模块（FFM），将前景图像块、背景上下文和空间坐标作为输入。
• 使用预训练的文本识别器计算基于识别的奖励信号，以指导策略学习。
• 该方法仅在数据集准备阶段应用，不在推理阶段使用，确保零运行时开销。
• 对于任意形状文本，采用固定控制点（8个）的贝塞尔曲线表示可变长多边形框，实现优化。
• 使用经验回放和目标网络的DQN算法训练BoxDQN，超参数通过消融实验调优。

实验结果

研究问题

• RQ1 调整标注的边界框是否能在端到端场景文本识别性能上超越使用紧致真实标注框的表现？
• RQ2 所提出的基于强化学习的边界框调整方法如何减少合成到真实迁移学习中的域偏移？
• RQ3 边界框调整智能体的最佳输入表示是什么——仅前景，还是包含背景和坐标？
• RQ4 BoxDQN达到最优边界框调整所需的训练迭代次数是多少？
• RQ5 能否通过固定表示的贝塞尔曲线将该方法扩展至任意形状文本？

主要发现

• 与最先进方法相比，所提出的Box Adjuster在标准端到端文本识别基准上平均提升F-Score 2.0%。
• 在域适应任务（如合成到真实）中，该方法相比现有方法实现F-Score 4.6%的相对提升。
• 包含背景和坐标特征的特征融合模块（FFM）相比仅使用前景图像的DQN，提升F-Score 0.6%。
• BoxDQN的最优训练迭代次数为20次，实现最佳性能且计算成本最低。
• 在包含任意形状文本的TotalText数据集上，使用贝塞尔曲线表示时，BoxDQN将F-Score从61.5提升至63.8。
• 消融实验表明，该方法在不同识别和检测主干网络上均具泛化能力，表现一致提升。