[论文解读] The State of the Art Recognize in Arabic Script through Combination of Online and Offline

Firoj Parwej|arXiv (Cornell University)|Mar 20, 2013

Handwritten Text Recognition Techniques参考文献 17被引用 5

一句话总结

本文提出了一种基于隐马尔可夫模型（HMMs）的多分类器框架的混合在线与离线阿拉伯手写识别系统。通过使用规范字符串匹配算法进行增量序列对齐来整合输出，该系统在个体识别器的基础上将识别准确率提高了约3%，证明了多模态融合在连笔阿拉伯文字中的有效性。

ABSTRACT

Handwriting recognition refers to the identification of written characters. Handwriting recognition has become an acute research area in recent years for the ease of access of computer science. In this paper primarily discussed On-line and Off-line handwriting recognition methods for Arabic words which are often used among then across the Middle East and North Africa People. Arabic word online handwriting recognition is a very challenging task due to its cursive nature. Because of the characteristic of the whole body of the Arabic script, namely connectivity between the characters, thereby the segmentation of An Arabic script is very difficult. In this paper we introduced an Arabic script multiple classifier system for recognizing notes written on a Starboard. This Arabic script multiple classifier system combines one off-line and on-line handwriting recognition systems. The Arabic script recognizers are all based on Hidden Markov Models but vary in the way of preprocessing and normalization. To combine the Arabic script output sequences of the recognizers, we incrementally align the word sequences using a norm string matching algorithm. The Arabic script combination we could increase the system performance over the excellent character recognizer by about 3%. The proposed technique is also the necessary step towards character recognition, person identification, personality determination where input data is processed from all perspectives.

研究动机与目标

• 解决由于字符连接和书写风格差异导致的连笔阿拉伯文字识别挑战。
• 通过融合在线与离线手写识别系统来提升识别性能。
• 开发一种多分类器系统，整合在线与离线识别方法的互补优势。
• 通过多模态输入处理实现鲁棒的字符识别、个人身份识别与人格判断。

提出的方法

• 系统对在线与离线识别均采用隐马尔可夫模型（HMMs），并针对每种模态采用不同的预处理与归一化策略。
• 在线识别处理来自数字平板（如Starboard）的动态笔画数据，捕捉时间序列信息。
• 离线识别处理手写阿拉伯单词的静态图像，侧重于空间特征与形状模式。
• 通过规范字符串匹配算法进行增量序列对齐，将两种识别器的输出进行组合，以对齐词级预测结果。
• 融合策略利用在线数据的时间动态特性与离线数据的结构鲁棒性，以提升识别可靠性。
• 系统在阿拉伯单词数据集上进行训练与评估，性能通过标准识别准确率指标进行衡量。

实验结果

研究问题

• RQ1 结合在线与离线手写识别是否能提升连笔阿拉伯文字的识别准确率？
• RQ2 如何有效融合基于HMM的在线与离线识别器输出以增强识别性能？
• RQ3 多模态融合在多大程度上缓解了阿拉伯文字中字符连接与书写差异带来的挑战？
• RQ4 所提出的融合方法在识别准确率方面是否优于单独的在线或离线识别系统？
• RQ5 该组合系统是否能够支持下游应用，如个人身份识别与人格判断？

主要发现

• 所提出的混合系统相较于最佳个体识别器，识别准确率提高了约3%。
• 采用规范字符串匹配算法进行增量序列对齐，有效结合了在线与离线系统输出的互补性。
• 在线与离线基于HMM的识别器融合，相比独立方法，实现了更鲁棒、更准确的词识别。
• 该系统证明了利用多模态输入处理复杂连笔文字（如阿拉伯文）的可行性。
• 结果表明，结合动态与静态手写特征可提升识别性能，尤其在高连接度与高变异性情况下表现更优。