[论文解读] Online and Offline Handwritten Chinese Character Recognition: A Comprehensive Study and New Benchmark

Xu-Yao Zhang, Yoshua Bengio+1 more|arXiv (Cornell University)|Jun 18, 2016

Handwritten Text Recognition Techniques参考文献 56被引用 13

一句话总结

该论文提出了一种新颖的 directMap+convNet 框架，将领域特定知识——形状归一化与方向分解特征图——与深度卷积神经网络相结合，用于在线和离线手写中文字符识别。通过使用与归一化协同的 directMap 作为紧凑且具有判别性的输入表示，该方法在 ICDAR-2013 基准测试中实现了最先进（SOTA）的准确率，且无需数据增强或模型集成，同时通过轻量级适配层实现了有效的无监督写作者适应。

ABSTRACT

Recent deep learning based methods have achieved the state-of-the-art performance for handwritten Chinese character recognition (HCCR) by learning discriminative representations directly from raw data. Nevertheless, we believe that the long-and-well investigated domain-specific knowledge should still help to boost the performance of HCCR. By integrating the traditional normalization-cooperated direction-decomposed feature map (directMap) with the deep convolutional neural network (convNet), we are able to obtain new highest accuracies for both online and offline HCCR on the ICDAR-2013 competition database. With this new framework, we can eliminate the needs for data augmentation and model ensemble, which are widely used in other systems to achieve their best results. This makes our framework to be efficient and effective for both training and testing. Furthermore, although directMap+convNet can achieve the best results and surpass human-level performance, we show that writer adaptation in this case is still effective. A new adaptation layer is proposed to reduce the mismatch between training and test data on a particular source layer. The adaptation process can be efficiently and effectively implemented in an unsupervised manner. By adding the adaptation layer into the pre-trained convNet, it can adapt to the new handwriting styles of particular writers, and the recognition accuracy can be further improved consistently and significantly. This paper gives an overview and comparison of recent deep learning based approaches for HCCR, and also sets new benchmarks for both online and offline HCCR.

研究动机与目标

• 通过将领域特定知识与深度学习相结合，提升手写中文字符识别的识别准确率。
• 消除对数据增强和模型集成的依赖，而这两者在以往最先进系统中普遍存在。
• 开发一种高效且无监督的写作者适应方法，以减少特定写作者在训练与测试数据之间的领域偏移。
• 在统一框架下，为 ICDAR-2013 数据集上的在线与离线 HCCR 建立新的基准。
• 证明即使在达到人类水平性能的情况下，深度学习模型依然能从结构化的先验知识中获得显著收益。

提出的方法

• 该方法使用一种与归一化协同的定向分解特征图（directMap），在归一化前对原始字符进行方向分解，从而在减少类内差异的同时保留笔画方向性。
• directMap 表示为 d×n×n 的稀疏张量，其中 d 为量化方向的数量，n 为特征图尺寸，用于编码来自在线轨迹和离线图像的定向笔画模式。
• 在 directMap 表示上端到端训练一个 11 层深度卷积神经网络（convNet），以学习分层且具有判别性的特征。
• 引入一种新颖的无监督适配层，用于减少特定写作者源层上训练与测试数据之间的分布不匹配，将其建模为具有闭式解的二次规划问题。
• 该适配过程即使在极少适配数据下也高效且有效，可在不重新训练整个网络的情况下持续提升性能。
• 该框架统一应用于在线与离线 HCCR，无需针对每种模态分别优化，即在 ICDAR-2013 基准测试中实现了 SOTA 结果。

实验结果

研究问题

• RQ1 将形状归一化与方向分解等领域特定知识与深度学习结合，是否能超越当前最先进方法的 HCCR 性能？
• RQ2 与基于归一化的替代方法相比，与归一化协同的 directMap 表示在判别能力与鲁棒性方面是否更优？
• RQ3 统一的深度学习框架是否能在无需单独优化或数据增强的情况下，同时实现在线与离线 HCCR 的最先进性能？
• RQ4 在仅使用有限数据微调新书写风格时，无监督写作者适配能在多大程度上提升识别准确率？
• RQ5 与基于集成或依赖数据增强的方法相比，所提方法在训练与推理阶段是否更具效率与有效性？

主要发现

• 与归一化协同的 directMap 显著优于基于归一化的变体，由于更好地保留了笔画方向性并减少了失真，从而实现了更高的准确率。
• directMap+convNet 框架在 ICDAR-2013 基准测试中，于在线与离线 HCCR 任务上均实现了新的最先进准确率，超越了人类水平性能。
• 该方法消除了对数据增强和模型集成的需求，降低了训练与推理阶段的计算成本与复杂度。
• 所提出的无监督适配层能有效减少特定写作者源层上训练与测试数据之间的领域偏移，仅需极少适配数据即可显著且一致地提升准确率。
• 该框架展现出强大的泛化能力与高效性，具备高识别准确率与低内存占用，适用于个性化手写识别系统的实际部署。