[论文解读] Supervised mid-level features for word image representation

Albert Gordo|arXiv (Cornell University)|Oct 20, 2014

Handwritten Text Recognition Techniques参考文献 28被引用 11

一句话总结

本文提出了一种监督的中层特征方法，通过在训练过程中利用字符边界框标注，学习与字符相关的局部特征，从而实现紧凑且鲁棒的词图像表征。与先前方法不同，该方法在测试时无需显式进行字符定位，仅使用约5,000个标注训练词和96维的签名，即在词检索与识别任务中达到最先进性能。

ABSTRACT

This paper addresses the problem of learning word image representations: given the cropped image of a word, we are interested in finding a descriptive, robust, and compact fixed-length representation. Machine learning techniques can then be supplied with these representations to produce models useful for word retrieval or recognition tasks. Although many works have focused on the machine learning aspect once a global representation has been produced, little work has been devoted to the construction of those base image representations: most works use standard coding and aggregation techniques directly on top of standard computer vision features such as SIFT or HOG. We propose to learn local mid-level features suitable for building word image representations. These features are learnt by leveraging character bounding box annotations on a small set of training images. However, contrary to other approaches that use character bounding box information, our approach does not rely on detecting the individual characters explicitly at testing time. Our local mid-level features can then be aggregated to produce a global word image signature. When pairing these features with the recent word attributes framework of Almazán et al., we obtain results comparable with or better than the state-of-the-art on matching and recognition tasks using global descriptors of only 96 dimensions.

研究动机与目标

• 开发一种紧凑的、固定长度的全局词图像表征，具备鲁棒性和描述性。
• 通过在训练过程中使用有限的字符级标注数据学习中层特征，改进词图像表征。
• 在不牺牲标注字符数据带来的性能优势的前提下，消除测试时对显式字符定位的需求。
• 在极少量训练数据和低维签名下，实现词检索与识别任务的最先进性能。

提出的方法

• 通过使用少量字符标注的训练图像，将局部SIFT特征投影到与字符区域相关联的空间，以学习中层特征。
• 利用通过CCA推导出的线性投影矩阵U，将Fisher向量（FV）编码的局部特征映射为中层描述符。
• 使用非重叠的、固定大小的块（p×p像素）构建图像的网格表示，并为每个块计算FV，不使用空间金字塔或ℓ₂归一化。
• 应用积分图像表示，以实现图像中任意块的中层描述符的高效计算。
• 通过在积分表示上对多个空间区域的中层描述符进行求和操作，随后进行ℓ₂归一化，实现聚合。
• 使用2×2区域的空间金字塔结构，并通过重排的投影矩阵U^将FV投影，以实现跨空间层级的加法聚合。

实验结果

研究问题

• RQ1 能否通过字符级标注学习到的中层特征，在不需测试时字符定位的前提下，改善全局词图像表征？
• RQ2 在训练过程中利用有限的字符边界框标注，对紧凑词图像签名的性能有何影响？
• RQ3 中层特征是否能在词图像检索与识别任务中优于直接的SIFT基表示？
• RQ4 在极少数标注训练词（例如，<5,000个）的情况下，性能能否与基于数百万个标注词训练的最先进方法相媲美？

主要发现

• 所提方法仅使用96维全局签名，在词图像检索任务中即达到最先进性能，优于以往相同维度的方法。
• 当与[4]中的词属性框架结合时，该方法在直接SIFT基表示基础上实现显著性能提升，证明了中层特征学习的优势。
• 仅使用约5,000个字符标注的训练词，该方法的识别性能即可与依赖数百万个标注词的Google PhotoOCR相媲美。
• 得益于积分图像表示和加法聚合机制，该方法实现了高效的描述符计算——仅用单核处理器，即可在一秒内完成图像中所有块的提取与描述。
• 在使用Fisher向量编码并结合线性投影及投影后的ℓ₂归一化时，保留了加法性质，从而实现了高效的块级描述符计算。