[论文解读] Zero-training Sentence Embedding via Orthogonal Basis

Ziyi Yang, Chenguang Zhu+1 more|arXiv (Cornell University)|Sep 27, 2018

Topic Modeling参考文献 30被引用 7

一句话总结

本文提出了一种零训练、无参数的句子嵌入方法，通过受Gram-Schmidt过程启发的正交基构造实现。通过将词语语义建模为其与上下文词语张成子空间的关系，并引入作为正交基向量的新颖语义，该方法在11项NLP任务上实现了最先进性能，且无需任何训练或超参数调整。

ABSTRACT

We propose a simple and robust training-free approach for building sentence representations. Inspired by the Gram-Schmidt Process in geometric theory, we build an orthogonal basis of the subspace spanned by a word and its surrounding context in a sentence. We model the semantic meaning of a word in a sentence based on two aspects. One is its relatedness to the word vector subspace already spanned by its contextual words. The other is the word's novel semantic meaning which shall be introduced as a new basis vector perpendicular to this existing subspace. Following this motivation, we develop an innovative method based on orthogonal basis to combine pre-trained word embeddings into sentence representations. This approach requires zero training and zero parameters, along with efficient inference performance. We evaluate our approach on 11 downstream NLP tasks. Experimental results show that our model outperforms all existing zero-training alternatives in all the tasks and it is competitive to other approaches relying on either large amounts of labelled data or prolonged training time.

研究动机与目标

• 开发一种无需训练的句子表示方法，避免对大规模标注数据或模型微调的依赖。
• 通过利用向量空间中的几何关系进行正交基分解，建模上下文中的词语语义。
• 创建一种无参数方法，以在多种NLP任务中保持高效率和强泛化能力。
• 在下游NLP基准测试中超越现有零训练替代方法，且无需任何训练。

提出的方法

• 该方法基于Gram-Schmidt过程的原理，为词语及其周围上下文所张成的子空间构建正交基。
• 它将词语的语义贡献建模为在现有上下文子空间上的投影与代表独特语义的新正交分量的组合。
• 通过正交基分解将预训练词嵌入组合，形成无参数学习的句子级表示。
• 通过强制新词向量与上下文词语子空间正交，确保语义新颖性。
• 最终的句子嵌入由正交基向量导出，同时保留了上下文连贯性与语义独特性。
• 不涉及任何训练或优化；该方法完全确定性且计算高效。

实验结果

研究问题

• RQ1 零训练、无参数的方法是否能在不依赖标注数据或微调的情况下实现具有竞争力的句子表示性能？
• RQ2 从预训练词嵌入中通过正交基构造在多大程度上能有效建模句子中的上下文语义？
• RQ3 能否利用Gram-Schmidt正交化等几何向量空间原理来提升句子表示质量？
• RQ4 该方法是否在多种NLP任务中均优于现有零训练替代方法？

主要发现

• 所提出的方法在所有11项评估的下游NLP任务中均优于所有现有零训练替代方法。
• 其性能与依赖大规模标注数据或长时间训练的模型相比也具有竞争力。
• 该方法在无需任何超参数调优或学习的情况下，展现出在多种NLP任务中的强泛化能力。
• 正交基构造有效捕捉了句子表示中的上下文连贯性与语义新颖性。
• 由于无可训练参数且采用确定性向量运算，推理过程高度高效。