[论文解读] Stroke Constrained Attention Network for Online Handwritten Mathematical Expression Recognition

Jiaming Wang, Jun Du+1 more|arXiv (Cornell University)|Feb 20, 2020

Handwritten Text Recognition Techniques参考文献 49被引用 6

一句话总结

本文提出了一种新型编码器-解码器框架——笔画约束注意力网络（SCAN），用于在线手写数学表达式识别。该框架将笔画作为特征表示和注意力对齐的基本单元。通过融合来自在线（基于轨迹）和离线（基于图像）模态的笔画级特征，SCAN 改进了注意力对齐，加速了解码过程，并实现了多模态信息的早期融合，在 CROHME 基准测试中取得了最先进性能，表达式准确率达到 57.20%，结构准确率达到 73.94%。

ABSTRACT

In this paper, we propose a novel stroke constrained attention network (SCAN) which treats stroke as the basic unit for encoder-decoder based online handwritten mathematical expression recognition (HMER). Unlike previous methods which use trace points or image pixels as basic units, SCAN makes full use of stroke-level information for better alignment and representation. The proposed SCAN can be adopted in both single-modal (online or offline) and multi-modal HMER. For single-modal HMER, SCAN first employs a CNN-GRU encoder to extract point-level features from input traces in online mode and employs a CNN encoder to extract pixel-level features from input images in offline mode, then use stroke constrained information to convert them into online and offline stroke-level features. Using stroke-level features can explicitly group points or pixels belonging to the same stroke, therefore reduces the difficulty of symbol segmentation and recognition via the decoder with attention mechanism. For multi-modal HMER, other than fusing multi-modal information in decoder, SCAN can also fuse multi-modal information in encoder by utilizing the stroke based alignments between online and offline modalities. The encoder fusion is a better way for combining multi-modal information as it implements the information interaction one step before the decoder fusion so that the advantages of multiple modalities can be exploited earlier and more adequately when training the encoder-decoder model. Evaluated on a benchmark published by CROHME competition, the proposed SCAN achieves the state-of-the-art performance.

研究动机与目标

• 为解决 HMER 中因依赖低级特征（如轨迹点或图像像素）而导致注意力机制符号分割不准确的问题。
• 通过将笔画——即笔触起停动作的自然分组——作为编码器-解码器模型中的基本单元，提升识别性能与解码效率。
• 通过在解码前于笔画级别对齐在线与离线模态，实现在 HMER 中更有效的多模态融合。
• 通过利用离线图像中的全局上下文信息，克服在线 HMER 中延迟或无序笔画带来的限制。

提出的方法

• 模型使用 CNN-GRU 编码器处理在线模态，从轨迹序列中提取点级特征，再通过笔画约束将这些特征转换为笔画级特征。
• 对于离线模态，使用 CNN 编码器从静态图像中提取像素级特征，并以类似方式转换为笔画级表示。
• 解码器采用基于笔画级特征的注意力机制，从而实现更准确、更稳定的符号分割与识别。
• 在多模态设置中，模型通过基于笔画的对齐方式，在编码器层面融合在线与离线特征，实现更早且更有效的信息交互。
• 该方法引入了一种新颖的注意力机制，利用笔画级表示提升对齐效果，并减少解码过程中处理的 token 数量。
• 该框架支持单模态（在线/离线）和多模态 HMER，支持端到端训练与推理。

实验结果

研究问题

• RQ1 在 HMER 中将笔画作为基本单元是否能提升注意力对齐与识别准确率？
• RQ2 使用笔画级特征而非点/像素级特征是否能降低解码的计算成本？
• RQ3 通过基于笔画的对齐实现在线与离线模态的早期融合，是否能优于晚期融合或独立处理各模态？
• RQ4 该模型如何处理在线手写中延迟或无序笔画的挑战性情况？
• RQ5 笔画级表示在多大程度上增强了 HMER 对模糊或非标准书写顺序的鲁棒性？

主要发现

• SCAN 在 CROHME 2014 基准测试中取得了 57.20% 的最先进表达式准确率和 73.94% 的结构准确率，优于以往方法。
• 与 E-MAN 系统相比，该模型将测试时间减少了 50%，在准确率更高的前提下，推理速度仍快于离线的 WAP 系统。
• 注意力可视化显示，MMSCAN-E（早期融合）相比 MMSCAN-D（晚期融合）产生了更一致且准确的注意力对齐，尤其在处理延迟笔画时表现更优。
• 笔画数量显著少于轨迹点或图像像素数量，从而实现了更快的解码速度，并降低了注意力机制中的计算成本。
• MMSCAN-E 的编码器级融合通过利用离线图像的全局上下文，成功解决了延迟笔画问题，而 MMSCAN-D 因模态间注意力不一致而失败。
• 笔画约束的特征转换提升了特征表示能力，降低了解码器中符号分割与识别的难度。