[论文解读] Recognizing Handwritten Mathematical Expressions as LaTex Sequences Using a Multiscale Robust Neural Network

Hongyu Wang, Guangcun Shan|arXiv (Cornell University)|Feb 26, 2020

Handwritten Text Recognition Techniques参考文献 21被引用 8

一句话总结

本文提出了一种多尺度鲁棒神经网络，用于识别手写数学表达式并将其转换为LaTeX序列。通过利用分层特征提取和可视化技术，该模型提升了对结构的理解和符号识别能力，在CROHME 2014和2016数据集上分别实现了49.459%和46.062%的表达式准确率，相较于先前方法展现出更强的鲁棒性和准确性。

ABSTRACT

In this paper, a robust multiscale neural network is proposed to recognize handwritten mathematical expressions and output LaTeX sequences, which can effectively and correctly focus on where each step of output should be concerned and has a positive effect on analyzing the two-dimensional structure of handwritten mathematical expressions and identifying different mathematical symbols in a long expression. With the addition of visualization, the model's recognition process is shown in detail. In addition, our model achieved 49.459% and 46.062% ExpRate on the public CROHME 2014 and CROHME 2016 datasets. The present model results suggest that the state-of-the-art model has better robustness, fewer errors, and higher accuracy.

研究动机与目标

• 通过建模其二维结构复杂性，提升对手写数学表达式的识别能力。
• 生成准确的LaTeX序列作为输出，以支持语义解析与渲染。
• 增强模型在长而复杂表达式中的鲁棒性并减少错误。
• 通过可视化识别过程提升可解释性。
• 在CROHME 2014和CROHME 2016等基准数据集上实现最先进性能。

提出的方法

• 设计了一种多尺度卷积神经网络，以捕捉不同感受野大小的特征，从而更好地理解结构。
• 采用分层特征提取机制，以建模二维数学表达式中的空间关系。
• 集成序列生成头，逐步输出LaTeX标记，实现结构化的序列预测。
• 应用可视化技术，以解释推理过程中注意力机制与预测动态。
• 在CROHME数据集上使用监督学习进行端到端训练，输入为真实LaTeX序列。
• 采用鲁棒损失函数，以减少长序列中的误差传播并提升泛化能力。

实验结果

研究问题

• RQ1 多尺度神经网络能否有效建模手写数学表达式的二维空间结构？
• RQ2 分层特征学习在提升手写输入到LaTeX序列生成的准确性方面有何作用？
• RQ3 可视化在提升数学表达式识别的可解释性与错误分析方面能发挥多大作用？
• RQ4 所提模型在标准基准测试中相较于现有方法实现了多大的性能提升？
• RQ5 该模型在手写风格差异和表达式复杂度变化下表现出多强的鲁棒性？

主要发现

• 该模型在CROHME 2014数据集上实现了49.459%的表达式准确率，显著提升了鲁棒性与准确性。
• 在CROHME 2016数据集上，该模型达到46.062%的表达式准确率，展现出在不同数据集间的强泛化能力。
• 对识别过程的可视化显示，模型能有效聚焦于相关区域与符号边界。
• 多尺度架构有助于更好地处理复杂表达式中多样的符号尺寸与空间布局。
• 通过结构化的序列生成，模型减少了误差传播，从而产生更少的错误LaTeX输出。
• 结果证实，所提方法在准确率与鲁棒性方面均优于先前的最先进模型。