[论文解读] Preliminary Exploration of Formula Embedding for Mathematical Information Retrieval: can mathematical formulae be embedded like a natural language?

Liangcai Gao, Zhuoren Jiang+4 more|arXiv (Cornell University)|Jul 17, 2017

Mathematics, Computing, and Information Processing参考文献 8被引用 23

一句话总结

本文通过将神经词嵌入技术适配于数学符号和公式，提出了一种新颖的公式嵌入方法，用于数学信息检索（MIR）。该方法引入了'symbol2vec'以学习公式组件的向量表示，以及'formula2vec'以表示整个公式。当与文本匹配结合时，该方法显著提升了检索性能，证明了神经表示在数学语言处理中的可行性和潜力。

ABSTRACT

While neural network approaches are achieving breakthrough performance in the natural language related fields, there have been few similar attempts at mathematical language related tasks. In this study, we explore the potential of applying neural representation techniques to Mathematical Information Retrieval (MIR) tasks. In more detail, we first briefly analyze the characteristic differences between natural language and mathematical language. Then we design a "symbol2vec" method to learn the vector representations of formula symbols (numbers, variables, operators, functions, etc.) Finally, we propose a "formula2vec" based MIR approach and evaluate its performance. Preliminary experiment results show that there is a promising potential for applying formula embedding models to mathematical language representation and MIR tasks.

研究动机与目标

• 探究在自然语言中取得成功的神经表示技术是否可应用于数学语言。
• 解决数学公式在结构和语义上与自然语言不同的表示挑战。
• 设计并评估一种用于提升数学信息检索（MIR）的公式嵌入框架。
• 评估公式嵌入相对于文本信息在MIR排序中的贡献。
• 探索在检索任务中使用分布式表示表示数学符号和公式的技术可行性。

提出的方法

• 采用CBOW架构并结合负采样方法，从大规模LaTeX格式公式语料库中训练'mathematical symbols'（如变量、运算符、函数）的'symbol2vec'嵌入。
• 使用公式分词器将公式分解为最小且有意义的符号，共得到892种不同的符号类型。
• 通过平均公式中所有符号的嵌入向量，提出'formula2vec'，以生成密集的向量表示。
• 在检索中应用余弦相似度作为评分函数，计算公式与公式之间以及查询与页面之间的相似度。
• 开发了一种联合排序模型，通过加权融合formula2vec得分与语言模型得分，并引入Dirichlet平滑技术。
• 在NTCIR-12 MathIR数据集上使用标准MIR指标评估该方法，其中超参数α用于控制公式信号与文本信号之间的平衡。

实验结果

研究问题

• RQ1 像词嵌入这样的神经表示技术能否有效应用于数学语言？
• RQ2 公式嵌入能否提升数学信息检索（MIR）任务的性能？
• RQ3 在MIR中，公式嵌入与传统文本匹配方法相比，有效性如何？
• RQ4 在混合检索模型中，公式嵌入与文本信息的最佳平衡点是什么？
• RQ5 不同的嵌入维度和超参数如何影响检索性能？

主要发现

• ‘symbol2vec’模型成功学习到了数学符号的有意义向量表示，语义相似的符号（如sin、cos、tan）在最近邻中彼此靠近。
• ‘formula2vec’方法表现出良好性能，表明密集的公式表示能够捕捉结构和语义关系。
• 将formula2vec与语言模型（LM）结合后，性能显著优于单一方法，联合方法在整体MIR性能上表现最佳。
• 在联合模型中，文本信息的贡献大于公式嵌入，这从α值较高的最优性能中得到证实。
• 提升嵌入维度可提高性能，直至300维时达到峰值，之后增益趋于平缓，表明超过此点后收益递减。
• 模型在表示某些符号（如'+')时存在局限性，原因在于上下文模糊，提示需要更复杂的上下文建模方法。