[论文解读] Radial Line Fourier Descriptor for Handwritten Word Representation.

Anders Hast, Ekta Vats|arXiv (Cornell University)|Sep 6, 2017

Handwritten Text Recognition Techniques参考文献 27被引用 2

一句话总结

本文提出了一种径向线傅里叶（RLF）描述符，用于在退化的历史手稿中实现无需分割、无需训练的手写词检索。通过将词形轮廓编码为32维特征向量，并采用基于预条件的匹配策略，该方法在噪声大、画质差的文档图像上表现出鲁棒性能，在检索准确率方面优于传统的SIFT和SURF描述符。

ABSTRACT

Automatic recognition of historical handwritten manuscripts is a daunting task due to paper degradation over time. Recognition-free retrieval or word spotting is popularly used for information retrieval and digitization of the historical handwritten documents. However, the performance of word spotting algorithms depends heavily on feature detection and representation methods. Although there exist popular feature descriptors such as Scale Invariant Feature Transform (SIFT) and Speeded Up Robust Features (SURF), the invariant properties of these descriptors amplify the noise in the degraded document images, rendering them more sensitive to noise and complex characteristics of historical manuscripts. Therefore, an efficient and relaxed feature descriptor is required as handwritten words across different documents are indeed similar, but not identical. This paper introduces a Radial Line Fourier (RLF) descriptor for handwritten word representation, with a short feature vector of 32 dimensions. A segmentation-free and training-free handwritten word spotting method is studied herein that relies on the proposed RLF descriptor, takes into account different keypoint representations and uses a simple preconditioner-based feature matching algorithm. The effectiveness of the RLF descriptor for segmentation-free handwritten word spotting is empirically evaluated on well-known historical handwritten datasets using standard evaluation measures.

研究动机与目标

• 解决在传统特征描述符因噪声放大而失效的退化历史手稿中识别手写词的挑战。
• 开发一种紧凑、不变且抗噪的特征描述符，适用于无需分割或训练的词检索。
• 通过简单高效的匹配算法，实现在多样化历史文档中对手写词的有效检索。
• 通过利用词形轮廓的径向线表示，提升在低质量图像中词检索的鲁棒性。
• 在标准基准数据集上，使用标准评估指标证明RLF描述符的有效性。

提出的方法

• 将手写词表示为基于轮廓的形状，并从每个词图像的质心提取径向线，以捕捉结构变化。
• 对径向强度轮廓应用傅里叶变换，生成编码形状信息的32维特征向量（RLF描述符）。
• 使用基于预条件的特征匹配算法，高效比较不同词实例之间的RLF描述符。
• 通过直接处理完整词图像，消除对分割的依赖，避免二值化和噪声带来的误差。
• 通过仅依赖词轮廓的几何特性和频域特性，避免对训练数据的需求。
• 将RLF描述符集成到检索流程中，使用标准评估指标（如平均平均精度（mAP））进行评估。

实验结果

研究问题

• RQ1 紧凑、不变且抗噪的特征描述符是否能提升在退化历史手稿中词检索的性能？
• RQ2 在噪声大、画质差的文档图像上，RLF描述符与SIFT和SURF相比在检索准确率方面表现如何？
• RQ3 基于RLF的无需分割、无需训练的方法在标准手写词检索基准上能达到多大程度的竞争力？
• RQ4 径向线表示是否能有效捕捉区分性形状特征，同时抑制历史手写中的噪声？
• RQ5 结合RLF描述符时，简单的基于预条件的匹配策略是否能实现高检索性能？

主要发现

• RLF描述符在标准历史手稿数据集上相比SIFT和SURF展现出更优的检索性能，尤其在存在噪声和退化的情况下。
• 该方法在基准数据集上实现了高平均平均精度（mAP），证明了其在无需分割或训练情况下的强有效性。
• 32维的RLF特征向量提供了紧凑但具有区分性的表示，能够捕捉手写词的关键形状特征。
• 基于预条件的匹配算法实现了高效且准确的特征匹配，在保持高准确率的同时降低了计算开销。
• 无需分割和无需训练的设计显著降低了流水线的复杂性与误差传播，相较于传统方法具有优势。
• 实证评估证实，与传统不变描述符相比，RLF描述符在噪声和手写风格变化方面具有更强的鲁棒性。