[论文解读] Urdu Handwritten Text Recognition Using ResNet18

Muhammad Kashif|arXiv (Cornell University)|Feb 19, 2021

Handwritten Text Recognition Techniques参考文献 28被引用 11

一句话总结

本文提出将ResNet18首次应用于乌尔都语手写文本识别，基于乌尔都语纳斯塔利格手写数据集（UNHD），通过残差学习捕捉复杂连笔字符模式，显著提升了识别准确率。据作者所知，这是首次在UNHD数据集上应用ResNet18，标志着构建稳健乌尔都语HCR系统的重要进展。

ABSTRACT

Handwritten text recognition is an active research area in the field of deep learning and artificial intelligence to convert handwritten text into machine-understandable. A lot of work has been done for other languages, especially for English, but work for the Urdu language is very minimal due to the cursive nature of Urdu characters. The need for Urdu HCR systems is increasing because of the advancement of technology. In this paper, we propose a ResNet18 model for handwritten text recognition using Urdu Nastaliq Handwritten Dataset (UNHD) which contains 3,12000 words written by 500 candidates.

研究动机与目标

• 为解决乌尔都语这种连笔且高度多变的文字缺乏高效手写文本识别（HTR）系统的问题。
• 提升在包含500位作者书写的312,000个单词的乌尔都语纳斯塔利格手写数据集（UNHD）上的识别准确率。
• 探究深度残差网络（ResNet18）在捕捉乌尔都语书写中复杂形状与笔画变化方面的有效性。
• 通过将最先进的CNN架构应用于UNHD数据集，为未来研究提供新的基准。

提出的方法

• 对UNHD数据集图像进行预处理，以减少噪声并标准化输入以供模型训练。
• 采用一维双向LSTM作为初始基线模型，但结果不理想。
• 实现具有18个卷积层的ResNet18架构，以从乌尔都语手写字符中提取分层特征。
• 在ResNet18中使用跳跃连接，以缓解梯度消失问题并提升深层网络的训练效果。
• 在UNHD数据集的一个子集上进行训练，使用GPU加速环境（Colab配备NVIDIA GTX 1660 Ti）。
• 通过标准指标评估性能，重点关注与先前在相同数据集上工作的准确率对比。

实验结果

研究问题

• RQ1 像ResNet18这样的深度残差网络能否有效识别乌尔都语手写文本中的连笔和风格多变的字符？
• RQ2 ResNet18在UNHD数据集上的性能与先前模型（如双向LSTM）相比如何？
• RQ3 ResNet18中使用跳跃连接在多大程度上提升了乌尔都语HTR的特征学习能力？
• RQ4 与之前方法相比，应用预训练或微调后的ResNet18架构是否能在同一数据集上获得更高的准确率？

主要发现

• 所提出的ResNet18模型在UNHD数据集上的准确率高于先前方法，确立了乌尔都语HTR的新基准。
• ResNet18中使用跳跃连接促进了更优的梯度流动，从而实现了更稳定和高效的深层网络训练。
• 该模型在连笔乌尔都语字符上表现出色，包括复杂的连笔和多笔画形态。
• 作者确认ResNet18是乌尔都语手写文本识别的可行且高效架构，在相同数据集上优于早期基于RNN的方法。
• 本工作是首次已知将ResNet18应用于UNHD数据集，为未来研究提供了新的基线。