[论文解读] Offline Text-Independent Writer Identification based on word level data

Vineet Kumar, Suresh Sundaram|arXiv (Cornell University)|Feb 21, 2022

Handwritten Text Recognition Techniques参考文献 49被引用 6

一句话总结

该论文提出了一种基于词级图像的离线、文本无关写作者识别系统，利用SIFT关键点和预训练CNN提取分层特征。通过应用基于熵的滤波器加权方法，并在CNN特征图上使用方向梯度直方图（HOG），实现了鲁棒的固定尺寸表征，在IAM数据集上达到98.17%的top-1准确率，在CVL数据集上达到99.0%，优于以往的词级方法。

ABSTRACT

This paper proposes a novel scheme to identify the authorship of a document based on handwritten input word images of an individual. Our approach is text-independent and does not place any restrictions on the size of the input word images under consideration. To begin with, we employ the SIFT algorithm to extract multiple key points at various levels of abstraction (comprising allograph, character, or combination of characters). These key points are then passed through a trained CNN network to generate feature maps corresponding to a convolution layer. However, owing to the scale corresponding to the SIFT key points, the size of a generated feature map may differ. As an alleviation to this issue, the histogram of gradients is applied on the feature map to produce a fixed representation. Typically, in a CNN, the number of filters of each convolution block increase depending on the depth of the network. Thus, extracting histogram features for each of the convolution feature map increase the dimension as well as the computational load. To address this aspect, we use an entropy-based method to learn the weights of the feature maps of a particular CNN layer during the training phase of our algorithm. The efficacy of our proposed system has been demonstrated on two publicly available databases namely CVL and IAM. We empirically show that the results obtained are promising when compared with previous works.

研究动机与目标

• 开发一种无需输入样本中包含特定文本内容的文本无关写作者识别系统。
• 通过在CNN中使用HOG方法将SIFT关键点区域产生的可变尺寸特征图归一化为固定尺寸表征，以解决该问题。
• 通过引入基于熵的滤波器显著性度量，降低深度特征提取中的计算负载和维度，以优化性能。
• 通过结合多尺度SIFT特征与深度卷积表征，提升词级数据上的写作者识别准确率。

提出的方法

• SIFT被调整用于在词图像中检测多层次抽象的特征区域——如字形、字符或其组合。
• 这些关键点区域被输入预训练的CNN，由于尺度差异，生成了尺寸各异的卷积特征图。
• 为统一特征图尺寸，对每个特征图计算方向梯度直方图（HOG），生成固定长度的描述符。
• 通过在HOG特征上应用稀疏PCA，推导出基于熵的显著性度量，从而在训练过程中选择性地加权CNN滤波器，优先保留信息丰富的特征。
• 最终的特征表征结合了来自多个CNN层的HOG描述符，并根据其学习到的显著性分数进行加权，以增强判别能力。
• 使用支持向量机（SVM）分类器在最终的特征向量上进行训练，以实现写作者识别，性能通过在页面级数据上使用平均分类得分进行评估。

实验结果

研究问题

• RQ1 仅使用词级图像而无需特定文本内容，能否实现高准确率的文本无关写作者识别系统？
• RQ2 如何将SIFT关键点区域产生的可变尺寸CNN特征图归一化为固定尺寸表征，以实现鲁棒分类？
• RQ3 基于熵的滤波器加权策略能否有效降低深度特征提取中的维度和计算负载，同时保持判别能力？
• RQ4 与现有词级方法相比，结合SIFT多尺度特征、CNN和HOG表征是否能提升写作者识别准确率？
• RQ5 在页面级数据上，当多个词样本被聚合进行分类时，该系统表现如何？

主要发现

• 所提出的系统在IAM数据集上实现了98.17%的top-1准确率，优于最先进的词级方法，如WordImagenet（95.8%）、FragNet-64（96.3%）和GR-RNN（96.4%）。
• 在CVL数据集上，系统达到了99.0%的top-1准确率，与领先方法如Tang和Wu（99.7%）以及Christlein等人（99.2%）相当，尽管存在写作者间文本内容完全相同这一挑战。
• 在页面级数据上的表现优于单个词图像，因为多个词级分类得分被聚合，提升了鲁棒性。
• 当不同身份的写作者具有相似的书写风格时，会出现误接受情况，如图6所示，表明系统在区分风格相似性方面存在局限。
• 基于熵的滤波器加权策略成功降低了计算负载，并通过强调每层CNN中信息丰富的滤波器，改善了特征表征。