[论文解读] Neural Architecture based on Fuzzy Perceptual Representation For Online Multilingual Handwriting Recognition

Hanen Akouaydi, Sourour Njah+5 more|arXiv (Cornell University)|Aug 1, 2019

Handwritten Text Recognition Techniques参考文献 33被引用 11

一句话总结

本文提出两种基于深度学习的在线多语言手写识别系统，采用模糊感知表征和卷积LSTM。第一个系统利用Beta-椭圆模型提取感知笔画特征，并通过LSTM进行分类；第二个系统则直接在移动设备获取的(x, y, z)轨迹数据上应用ConvLSTM。该方法在多个数据库上对拉丁文和阿拉伯文脚本的识别准确率超过98%，展现出对噪声和感知模糊性的鲁棒性。

ABSTRACT

Due to the omnipresence of mobile devices, online handwritten scripts have become the most important feeding input to smartphones and tablet devices. To increase online handwriting recognition performance, deeper neural networks have extensively been used. In this context, our paper handles the problem of online handwritten script recognition based on extraction features system and deep approach system for sequences classification. Many solutions have appeared in order to facilitate the recognition of handwriting. Accordingly, we used an existent method and combined with new classifiers in order to get a flexible system. Good results are achieved compared to online characters and words recognition system on Latin and Arabic scripts. The performance of our two proposed systems is assessed by using five databases. Indeed, the recognition rate exceeds 98%.

研究动机与目标

• 通过基于感知的特征提取与深度学习，提升多语言手写识别性能。
• 通过感知预处理框架，应对因书写速度、风格和噪声导致的手写差异。
• 开发一种灵活且鲁棒的系统，能够处理多种脚本下的字符级与词级识别。
• 在真实世界移动设备采集的数据及标准基准上评估系统性能。
• 探索笔画分割在检测与神经系统疾病相关的震颤性手写异常方面的诊断潜力。

提出的方法

• 感知系统利用Beta-椭圆模型，基于邻近性与相似性法则，将手写笔画分割为基本感知单元。
• 笔画被分类为原始感知码（BCP），并输入LSTM网络进行序列分类。
• 第二个系统直接在移动设备获取的原始(x, y, z)轨迹数据上应用ConvLSTM，实现端到端识别。
• 系统结合模糊逻辑与模糊真实标签训练策略，以建模手写中的感知不确定性。
• 通过在训练集与测试集中注入随机噪声，测试抗噪能力，并在不同噪声水平下测量性能。
• Beta-椭圆模型不仅用于分割，还用于预处理，包括降噪与信号采样。

实验结果

研究问题

• RQ1 基于类人感知法则的模糊感知表征能否提升在线手写识别准确率？
• RQ2 将Beta-椭圆模型用于笔画分割，如何在噪声条件下提升识别性能？
• RQ3 基于ConvLSTM的端到端系统在多语言数据集上相较于基于感知特征的方法，性能提升程度如何？
• RQ4 感知模型能否检测并辅助诊断与神经系统疾病相关的手写震颤？
• RQ5 手写中的感知错觉如何影响识别系统？所提方法能否减轻此类错误？

主要发现

• 所提出的基于感知的系统（OnHSR-LSTM）在IRONOFF数据库上对孤立词的识别率达到93%。
• 基于ConvLSTM的系统（OnHR-convLSTM）在IRONOFF数据库上达到98%的识别率，优于感知方法。
• 在LMCA与人工分割的ADAB数据库上，OnHR-convLSTM系统识别准确率达98.5%，表明其在多语言脚本上的高性能表现。
• 在加入噪声后，若不进行预处理，OnHR-convLSTM系统准确率降至50.45%；但使用teta与4个EPCs后，准确率提升至74.41%，显示出预处理的重要价值。
• Beta-椭圆模型有效降低了噪声与震颤的影响，可视化结果表明其成功消除了笔迹轨迹中的颤抖。
• 系统对感知错觉（如'0'与'O'、'1'与'l'等模糊字符）表现出鲁棒性，得益于上下文与动态特征的利用。