[论文解读] Trajectory-based Radical Analysis Network for Online Handwritten Chinese Character Recognition

Jianshu Zhang, Yixing Zhu+2 more|arXiv (Cornell University)|Jan 22, 2018

Handwritten Text Recognition Techniques参考文献 26被引用 6

一句话总结

本文提出了一种基于轨迹的部件分析网络（TRAN），用于在线手写中文字符识别。该网络利用带有注意力机制的循环神经网络识别部件及其空间结构，从而实现对未见字符的识别。通过从已见部件学习，TRAN 在 CASIA-OLHWDB 数据集上对未见的 500 个字符类别实现了 60.37% 的字符准确率，相较于整体字符建模方法，字符错误率（CER）相对降低了 10%。

ABSTRACT

Recently, great progress has been made for online handwritten Chinese character recognition due to the emergence of deep learning techniques. However, previous research mostly treated each Chinese character as one class without explicitly considering its inherent structure, namely the radical components with complicated geometry. In this study, we propose a novel trajectory-based radical analysis network (TRAN) to firstly identify radicals and analyze two-dimensional structures among radicals simultaneously, then recognize Chinese characters by generating captions of them based on the analysis of their internal radicals. The proposed TRAN employs recurrent neural networks (RNNs) as both an encoder and a decoder. The RNN encoder makes full use of online information by directly transforming handwriting trajectory into high-level features. The RNN decoder aims at generating the caption by detecting radicals and spatial structures through an attention model. The manner of treating a Chinese character as a two-dimensional composition of radicals can reduce the size of vocabulary and enable TRAN to possess the capability of recognizing unseen Chinese character classes, only if the corresponding radicals have been seen. Evaluated on CASIA-OLHWDB database, the proposed approach significantly outperforms the state-of-the-art whole-character modeling approach with a relative character error rate (CER) reduction of 10%. Meanwhile, for the case of recognition of 500 unseen Chinese characters, TRAN can achieve a character accuracy of about 60% while the traditional whole-character method has no capability to handle them.

研究动机与目标

• 为解决通过利用结构化组件来识别在线手写中文字符中未见字符的挑战。
• 通过将中文字符建模为部件及其空间关系的组合，提升识别性能。
• 通过部件级别的学习实现对未见字符的零样本识别，减少词汇表大小和冗余。
• 开发一种端到端可训练的模型，利用基于注意力的 RNN 联合学习部件检测与结构分析。
• 直接利用序列轨迹数据，保留图像方法中丢失的动态手写信息。

提出的方法

• 该模型使用双向 RNN 编码器将原始在线手写轨迹（x, y 坐标）转换为高层特征。
• 单向 RNN 解码器以符号为单位生成字符字幕，使用基于覆盖的注意力机制聚焦于相关轨迹段。
• 注意力机制通过关注特定轨迹区域，动态对齐部件组件和空间结构（例如：上下、左右）。
• 部件和空间关系以结构化字幕形式表示，使用大括号 {} 表示二维排列。
• 网络联合优化以预测正确字符字幕，实现端到端训练。
• 模型在 CASIA-OLHWDB 数据集上进行训练，部件级别的监督信息来自字符的分解。

实验结果

研究问题

• RQ1 端到端的深度学习模型能否通过分析字符的部件构成与空间结构，有效识别在线手写中文字符？
• RQ2 如果在训练过程中见过其组成部件，该模型能否泛化到未见的中文字符类别？
• RQ3 与整体字符建模相比，基于注意力的序列建模是否能提升在线手写数据上的识别性能？
• RQ4 注意力机制是否能与人类直观的部件分割和结构分析对齐？
• RQ5 与基于图像的表示方法相比，直接处理轨迹序列是否能在识别准确率和零样本泛化能力方面表现更优？

主要发现

• 在 CASIA-OLHWDB 数据集上，与最先进整体字符建模方法相比，TRAN 实现了 10% 的相对字符错误率（CER）降低。
• 当在 3,255 个字符类别上进行训练时，TRAN 在 500 个未见中文字符类别上实现了 60.37% 的字符准确率，证明了其有效的零样本泛化能力。
• 随着训练集规模增大，未见字符的识别性能也提升，在 2,755 个训练类别下达到 50.45% 的准确率。
• 注意力可视化结果表明，模型与人类直觉高度一致，能正确识别部件边界及上下、左右等空间结构。
• 与传统整体字符方法相比，该模型在未见字符上的表现更优，后者因无法泛化到已见类别之外而准确率为 0%。
• 通过 RNN 直接编码轨迹序列，保留了动态手写信息，从而在性能上优于静态图像表示方法。