[论文解读] PERT: A Progressively Region-based Network for Scene Text Removal

Yuxin Wang, Hongtao Xie+3 more|arXiv (Cornell University)|Jun 24, 2021

Handwritten Text Recognition Techniques参考文献 35被引用 6

一句话总结

PERT 提出了一种渐进式的基于区域的场景文本移除网络，通过基于区域的修改策略（RegionMS）引入显式的擦除引导，并采用共享参数的平衡多阶段擦除。通过仅针对文本区域进行处理并确保各阶段进度均衡，PERT 在无需对抗性训练的情况下，实现了 SOTA 性能（39.40 PSNR），推理速度达 71 FPS，且参数复杂度较之前方法降低 25%。

ABSTRACT

Scene text removal (STR) contains two processes: text localization and background reconstruction. Through integrating both processes into a single network, previous methods provide an implicit erasure guidance by modifying all pixels in the entire image. However, there exists two problems: 1) the implicit erasure guidance causes the excessive erasure to non-text areas; 2) the one-stage erasure lacks the exhaustive removal of text region. In this paper, we propose a ProgrEssively Region-based scene Text eraser (PERT), introducing an explicit erasure guidance and performing balanced multi-stage erasure for accurate and exhaustive text removal. Firstly, we introduce a new region-based modification strategy (RegionMS) to explicitly guide the erasure process. Different from previous implicitly guided methods, RegionMS performs targeted and regional erasure on only text region, and adaptively perceives stroke-level information to improve the integrity of non-text areas with only bounding box level annotations. Secondly, PERT performs balanced multi-stage erasure with several progressive erasing stages. Each erasing stage takes an equal step toward the text-erased image to ensure the exhaustive erasure of text regions. Compared with previous methods, PERT outperforms them by a large margin without the need of adversarial loss, obtaining SOTA results with high speed (71 FPS) and at least 25% lower parameter complexity. Code is available at https://github.com/wangyuxin87/PERT.

研究动机与目标

• 为解决场景文本移除中因隐式全局擦除引导导致的过度擦除问题，即非文本区域被不必要地修改。
• 为解决单阶段或不平衡多阶段擦除后残留文本痕迹的不彻底擦除问题。
• 通过仅使用边界框级标注引入显式、区域特定的擦除引导，提升重建质量与效率。
• 通过参数共享与向最终擦除图像的等步长推进，实现多阶段擦除学习的均衡化。
• 在不使用对抗性损失的前提下保持高性能，并支持实时推理。

提出的方法

• 提出基于区域的修改策略（RegionMS），显式引导背景重建网络（BRN）仅修改预测的文本区域，从而减少对非文本区域的非预期修改。
• 将文本定位与背景重建解耦，采用轻量化共享架构设计多个擦除模块。
• 通过在所有擦除模块间共享参数并仅监督最终输出，实现平衡的多阶段擦除，确保每个阶段对最终擦除图像的贡献相等。
• 引入区域-全局相似性损失（RG loss），通过同时考虑局部与全局感知相似性，提升特征一致性与视觉质量。
• 仅使用边界框级标注进行模型训练，使文本定位网络（TLN）具备笔画级感知能力，而无需像素级掩码。
• 采用渐进式细化策略，使每个阶段均执行小而均衡的步骤向最终擦除图像推进，从而实现对复杂或密集文本的彻底清除。

实验结果

研究问题

• RQ1 基于预测文本区域的显式擦除引导是否能减少场景文本移除中对非文本区域的非预期修改？
• RQ2 通过共享参数实现的平衡多阶段擦除是否能在保持模型效率的同时提升文本擦除的彻底性？
• RQ3 通过利用区域特定与渐进式擦除，是否可在无需对抗性训练的情况下实现高质量重建？
• RQ4 仅使用边界框标注的显式引导与需要像素级监督的方法相比，在重建保真度方面表现如何？
• RQ5 在多阶段中采用参数共享与等步长推进，相较于不平衡多阶段方法，能在多大程度上提升收敛性与性能？

主要发现

• PERT 在 SCUT-EnsText 数据集上实现了 SOTA 的 PSNR 39.40，显著优于先前方法如 EraseNet（38.32）与 MTRNet++（34.55）。
• 模型实现 71 FPS 的实时推理速度，展现出适合实际部署的高效率。
• 仅需 14.0M 参数，相较于之前多阶段方法如 MTRNet++（18.7M）与 EraseNet（19.7M），模型复杂度降低至少 25%。
• 与带有对抗性损失的基线相比，训练收敛更快，且在更少的训练轮次（80 轮 vs. 120 轮）内达到更高性能（33.24 PSNR vs. 31.86）。
• 区域-全局相似性损失通过平衡局部细节与全局一致性，有效提升了擦除结果的感知质量。
• 通过定性与定量分析验证，该方法能有效缓解过度擦除（如非文本区域的纹理失真）与不彻底擦除（如残留文本痕迹）。