[论文解读] R2CNN: Rotational Region CNN for Orientation Robust Scene Text Detection

Yingying Jiang, Xiangyu Zhu+6 more|arXiv (Cornell University)|Jun 29, 2017

Handwritten Text Recognition Techniques参考文献 23被引用 490

一句话总结

R2CNN 将 Faster R-CNN 扩展为通过使用轴对齐的 RPN 框和定向感知的池化来检测任意方向的场景文本，从而提供旋转文本候选，再进行倾斜框回归和 NMS。

ABSTRACT

In this paper, we propose a novel method called Rotational Region CNN (R2CNN) for detecting arbitrary-oriented texts in natural scene images. The framework is based on Faster R-CNN [1] architecture. First, we use the Region Proposal Network (RPN) to generate axis-aligned bounding boxes that enclose the texts with different orientations. Second, for each axis-aligned text box proposed by RPN, we extract its pooled features with different pooled sizes and the concatenated features are used to simultaneously predict the text/non-text score, axis-aligned box and inclined minimum area box. At last, we use an inclined non-maximum suppression to get the detection results. Our approach achieves competitive results on text detection benchmarks: ICDAR 2015 and ICDAR 2013.

研究动机与目标

• 检测自然场景中任意方向的文本。
• 利用轴对齐的候选框覆盖不同方向。
• 融合多尺寸池化特征以预测文本/非文本和方向。
• 产生倾斜的最小面积框以实现准确的文本定位。

提出的方法

• 使用区域提议网络（RPN）生成具有不同方向的轴对齐文本候选框。
• 对每个轴对齐的候选框，提取多种池化尺寸的特征并连接它们。
• 从连接的特征中预测文本/非文本分数、轴对齐边界框和倾斜最小面积框。
• 应用倾斜的非极大抑制以获得最终检测结果。

实验结果

研究问题

• RQ1 轴对齐的 RPN 候选框加上定向特征池化是否能可靠检测任意方向的文本？
• RQ2 连接多尺寸池化特征是否能提升文本/非文本分类和方向回归的效果？
• RQ3 倾斜非极大抑制是否提升旋转文本框的定位精度？

主要发现

• 在 ICDAR 2015 和 ICDAR 2013 基准测试中达到具有竞争力的结果。
• 展示在 Faster R-CNN 框架内进行旋转文本检测的有效性。
• 展示连接的多尺寸池化特征在捕捉方向变化方面的优势。