[论文解读] Translating Math Formula Images to LaTeX Sequences Using Deep Neural Networks with Sequence-level Training

Zelun Wang, Jyh‐Charn Liu|arXiv (Cornell University)|Aug 29, 2019

Handwritten Text Recognition Techniques参考文献 39被引用 9

一句话总结

本文提出一种基于编码器-解码器架构的深度神经网络，通过序列级训练将数学公式图像翻译为LaTeX序列。该模型采用带有2D位置编码的CNN编码器和带有软注意力机制的双向LSTM解码器，并通过策略梯度进行训练，以缓解暴露偏差问题，在IM2LATEX-100K数据集上达到最先进性能。

ABSTRACT

In this paper we propose a deep neural network model with an encoder-decoder architecture that translates images of math formulas into their LaTeX markup sequences. The encoder is a convolutional neural network (CNN) that transforms images into a group of feature maps. To better capture the spatial relationships of math symbols, the feature maps are augmented with 2D positional encoding before being unfolded into a vector. The decoder is a stacked bidirectional long short-term memory (LSTM) model integrated with the soft attention mechanism, which works as a language model to translate the encoder output into a sequence of LaTeX tokens. The neural network is trained in two steps. The first step is token-level training using the Maximum-Likelihood Estimation (MLE) as the objective function. At completion of the token-level training, the sequence-level training objective function is employed to optimize the overall model based on the policy gradient algorithm from reinforcement learning. Our design also overcomes the exposure bias problem by closing the feedback loop in the decoder during sequence-level training, i.e., feeding in the predicted token instead of the ground truth token at every time step. The model is trained and evaluated on the IM2LATEX-100K dataset and shows state-of-the-art performance on both sequence-based and image-based evaluation metrics.

研究动机与目标

• 开发一种神经网络模型，以准确地将数学公式图像翻译为LaTeX标记序列。
• 通过在训练期间闭合反馈回路，解决序列生成中的暴露偏差问题。
• 通过基于策略梯度的优化而非仅最大似然估计，提升序列级性能。
• 通过编码器中的2D位置编码增强对数学符号空间结构的理解。
• 在基于图像和基于序列的评估指标上，均在公式翻译任务中实现最先进性能。

提出的方法

• 编码器使用卷积神经网络（CNN）从输入公式图像中提取特征图。
• 通过2D位置编码增强特征图，以保留符号之间的空间关系。
• 将编码器输出展平为向量序列，作为解码器的输入。
• 解码器为堆叠的双向LSTM，结合软注意力机制，逐步生成LaTeX标记。
• 首先在标记级别通过最大似然估计（MLE）进行训练。
• 随后应用序列级训练，使用策略梯度算法，在解码过程中使用预测标记而非真实标签，以减少暴露偏差。

实验结果

研究问题

• RQ1 具有序列级训练的深度神经网络是否能在将数学公式图像翻译为LaTeX的任务中超越标准MLE训练？
• RQ2 2D位置编码在捕捉数学符号空间结构方面的有效性如何？
• RQ3 在解码过程中闭合反馈回路在多大程度上能减少序列生成中的暴露偏差？
• RQ4 策略梯度微调是否能提升BLEU和ROUGE等序列级指标？
• RQ5 该模型在IM2LATEX-100K基准上的性能与先前最先进方法相比如何？

主要发现

• 该模型在IM2LATEX-100K数据集的基于序列和基于图像的评估指标上均达到最先进性能。
• 采用策略梯度的序列级训练显著提升了生成质量，优于仅使用标记级别MLE训练的结果。
• 在序列级训练期间闭合反馈回路能有效缓解暴露偏差问题。
• 使用2D位置编码增强了模型捕捉数学表达式中符号间空间关系的能力。
• 该模型在未见过的公式图像上表现出强大的泛化能力，BLEU和ROUGE得分均较高。
• CNN编码器、带注意力机制的双向LSTM解码器以及序列级优化的结合，实现了鲁棒且准确的LaTeX序列生成。