[论文解读] TopicEq: A Joint Topic and Mathematical Equation Model for Scientific Texts

Michihiro Yasunaga, John Lafferty|arXiv (Cornell University)|Feb 16, 2019

Mathematics, Computing, and Information Processing参考文献 40被引用 4

一句话总结

TopicEq 提出了一种联合主题与方程模型，通过共享的潜在主题生成科学文本和数学方程，其中方程由基于主题激活的 RNN 生成。该模型显著优于基线的主题与方程模型，支持新型应用，如主题感知的方程生成和符号-词语对齐。

ABSTRACT

Scientific documents rely on both mathematics and text to communicate ideas. Inspired by the topical correspondence between mathematical equations and word contexts observed in scientific texts, we propose a novel topic model that jointly generates mathematical equations and their surrounding text (TopicEq). Using an extension of the correlated topic model, the context is generated from a mixture of latent topics, and the equation is generated by an RNN that depends on the latent topic activations. To experiment with this model, we create a corpus of 400K equation-context pairs extracted from a range of scientific articles from arXiv, and fit the model using a variational autoencoder approach. Experimental results show that this joint model significantly outperforms existing topic models and equation models for scientific texts. Moreover, we qualitatively show that the model effectively captures the relationship between topics and mathematics, enabling novel applications such as topic-aware equation generation, equation topic inference, and topic-aware alignment of mathematical symbols and words.

研究动机与目标

• 为解决当前方法在科学文本中分别处理主题与数学方程的问题，填补联合建模主题与数学方程的空白。
• 通过利用 RNN 从方程中提取句法与语义信息，改进科学文档中的主题建模。
• 通过利用周围文本的上下文词语信息与主题结构，提升方程生成的语法正确性与相关性。
• 实现可解释的、主题感知的数学符号与其自然语言描述之间的关联。
• 开发一种无监督框架，支持无需人工标注的新颖应用。

提出的方法

• 将相关主题模型扩展为使用共享的潜在主题比例，联合生成文本上下文与数学方程。
• 使用 RNN 以主题激活向量为条件，将方程作为 LaTeX 符号序列生成。
• 通过变分自编码器进行神经变分推断，对大规模 ContextEq-400K 语料库进行近似后验推断。
• 引入一种主题感知的对齐模型，利用由主题向量参数化的主题依赖对齐矩阵，学习符号-词语关联。
• 采用多层对齐矩阵 $ A(\theta) = W_a \cdot \text{diag}(W_b\theta) \cdot W_c $，以建模上下文相关的符号含义。
• 在从 arXiv 文章中提取的 400K 个方程-上下文对上端到端训练模型，使用 LATEX 源码以实现精确解析。

实验结果

研究问题

• RQ1 与将方程视为词袋的方法相比，联合建模主题与方程是否能提升科学文本中主题建模的质量？
• RQ2 结合上下文文本与主题结构，是否能提升生成数学方程的语法正确性与相关性？
• RQ3 该模型在多大程度上能学习到数学符号与其自然语言描述之间的主题感知关联？
• RQ4 在困惑度与一致性方面，该联合模型与独立的主题模型和方程模型相比表现如何？
• RQ5 该模型是否能在无标注数据的情况下支持新颖应用，如主题感知的方程生成与符号含义推断？

主要发现

• 与忽略主题上下文的基线对齐模型相比，联合的 TopicEq 模型将测试困惑度降低了超过 33%，证明了主题感知符号-词语对齐的价值。
• 联合模型的主题一致性得分在 50 个主题时达到 0.088，在 100 个主题时达到 0.087，相较于基线主题模型（0.085/0.084）表现出中等但稳定的提升。
• 该模型成功学习到符号的上下文相关含义：例如，$E$ 在概率中与“期望”关联，在量子物理中与“电场”关联，在图论中与“边”关联。
• 缺乏主题上下文的基线模型将 $E$ 主要与“能量”关联，因其在各领域中频率较高，凸显了主题感知建模的优势。
• 主题感知的方程生成是可行且有效的，生成的方程反映了其关联主题的语义与句法模式。
• 该模型实现了无监督的方程主题推断与符号-词语对齐，为读者理解不熟悉的数学内容提供了实际应用价值。