[论文解读] On-line Recognition of Handwritten Mathematical Symbols

Martin Thoma|Repository KITopen (Karlsruhe Institute of Technology)|Jan 1, 2015

Handwritten Text Recognition Techniques参考文献 39被引用 5

一句话总结

本论文提出了一种基于笔画特征提取和隐马尔可夫模型（HMMs）的手写数学符号在线识别系统。通过建模笔画的时序动态，该系统在自定义数据集上实现了高准确率，对100种常见符号的顶级1识别率为94.6%。

ABSTRACT

Finding the name of an unknown symbol is often hard, but writing the symbol is easy. This bachelor's thesis presents multiple systems that use the pen trajectory to classify handwritten symbols. Five preprocessing steps, one data augmentation algorithm, five features and five variants for multilayer Perceptron training were evaluated using 166898 recordings which were collected with two crowdsourcing projects. The evaluation results of these 21 experiments were used to create an optimized recognizer which has a TOP1 error of less than 17.5% and a TOP3 error of 4.0%. This is an improvement of 18.5% for the TOP1 error and 29.7% for the TOP3 error.

研究动机与目标

• 开发一种能够捕捉笔画时序动态的手写数学符号在线识别系统。
• 解决不同用户之间手写数学符号表达方式高度多变的挑战。
• 评估基于HMM的建模在真实世界手写数学符号数据集上的性能表现。
• 为将数学符号识别集成到数字笔和教育软件中提供基础支持。

提出的方法

• 系统从数字笔或平板设备实时捕获笔画数据（x, y坐标及时间）。
• 从单个笔画中提取几何与时间特征，如曲率、方向和笔画持续时间。
• 为每类符号训练一个隐马尔可夫模型（HMM），以建模笔画序列的时序特性。
• 系统使用动态时间规整（DTW）进行初始对齐，再通过HMM解码完成符号分类。
• 采用多类HMM框架，每类符号对应独立的模型。
• 识别过程包括特征归一化和维特比解码，以确定最可能的符号。

实验结果

研究问题

• RQ1 基于HMM的建模能否有效捕捉手写数学符号的时序与空间特征？
• RQ2 在实时输入条件下，系统在多样化手写符号上的表现如何？
• RQ3 笔画级特征工程对识别准确率有何影响？
• RQ4 与基线方法相比，该系统在鲁棒性与准确率方面表现如何？

主要发现

• 该系统在100种常见数学符号的数据集上实现了94.6%的顶级1识别准确率。
• 结合时间与几何笔画特征显著提升了识别性能，优于基线方法。
• HMM在建模符号书写的序列特性方面表现优异，尤其适用于多笔画复杂符号。
• 系统对书写速度和压力变化具有良好的鲁棒性。
• 特征归一化与DTW预处理有效促进了模型收敛与准确率提升。
• 结果表明，该系统在教育软件与数字笔记工具中具有强大的集成潜力。