[论文解读] Reproducing and learning new algebraic operations on word embeddings using genetic programming

Roberto Santana|arXiv (Cornell University)|Feb 18, 2017

Evolutionary Algorithms and Applications参考文献 21被引用 3

一句话总结

本文提出使用遗传编程（GP）自动发现并演化词嵌入上的代数运算，其性能优于人工设计的线性运算。通过将向量组合视为可执行程序，GP 学习到复杂、非线性的变换，其在词类比任务上的准确率高于标准方法，且在不同向量空间和语料库间表现出良好的可迁移性。

ABSTRACT

Word-vector representations associate a high dimensional real-vector to every word from a corpus. Recently, neural-network based methods have been proposed for learning this representation from large corpora. This type of word-to-vector embedding is able to keep, in the learned vector space, some of the syntactic and semantic relationships present in the original word corpus. This, in turn, serves to address different types of language classification tasks by doing algebraic operations defined on the vectors. The general practice is to assume that the semantic relationships between the words can be inferred by the application of a-priori specified algebraic operations. Our general goal in this paper is to show that it is possible to learn methods for word composition in semantic spaces. Instead of expressing the compositional method as an algebraic operation, we will encode it as a program, which can be linear, nonlinear, or involve more intricate expressions. More remarkably, this program will be evolved from a set of initial random programs by means of genetic programming (GP). We show that our method is able to reproduce the same behavior as human-designed algebraic operators. Using a word analogy task as benchmark, we also show that GP-generated programs are able to obtain accuracy values above those produced by the commonly used human-designed rule for algebraic manipulation of word vectors. Finally, we show the robustness of our approach by executing the evolved programs on the word2vec GoogleNews vectors, learned over 3 billion running words, and assessing their accuracy in the same word analogy task.

研究动机与目标

• 探究遗传编程是否能自动学习有效的词嵌入组合运算。
• 确定 GP 生成的程序是否能在捕捉语义关系方面超越传统的线性代数运算。
• 评估演化程序在不同词向量空间和语料库间的可迁移性。
• 探索在向量空间中演化复杂、非线性变换以实现语义组合的可行性。
• 评估在较小向量空间上训练的程序是否能泛化到更大、更复杂的向量空间。

提出的方法

• 使用基于树的遗传编程（GP）将词向量运算表示为可执行程序。
• 将运算编码为符号表达式，包含算术运算符（如 +, −, ×, ÷）、常数和词向量输入。
• 基于词类比准确率进行适应度评估：最小化输出向量与正确目标词之间的距离。
• 使用标准 GP 算子——选择、交叉和变异——在多代中迭代提升程序质量。
• 在词类比基准上进行训练与验证，使用余弦相似度在向量空间中寻找最近邻。
• 在小规模和大规模的 word2vec 向量（如 GoogleNews，30 亿词）上测试演化程序，以评估泛化能力和可迁移性。

实验结果

研究问题

• RQ1 能否通过遗传编程从训练样例中学习到有意义的向量代数运算？
• RQ2 遗传编程是否是发现语义向量空间中组合运算的可行方法？
• RQ3 GP 在词类比任务中的表现与标准人工设计的线性运算相比如何？
• RQ4 GP 演化出的程序是否可在不同语言任务、向量表示和语料规模间实现可迁移？
• RQ5 在小向量空间上训练的程序是否能有效应用于更大、更复杂的向量空间？

主要发现

• GP 生成的程序在词类比任务上的准确率高于标准人工设计规则（如 king − man + woman → queen）。
• 演化出的程序能够以更高精度重现已知的语言规律，如性别关系和屈折关系。
• 演化程序表现出强大的可迁移性，即使在仅用小规模数据集训练的情况下，也能在训练了 30 亿词的 GoogleNews word2vec 模型上表现良好。
• 该方法成功学习到非线性和复杂的组合运算，其性能优于简单的线性组合。
• 在小到中等规模向量空间上训练的程序在更大、计算成本更高的向量空间上测试时依然有效，表明其具备可扩展性和效率优势。
• 结果表明，GP 能够发现标准线性运算未能捕捉到的隐藏或细微的语义关系。