[论文解读] Representing Sentences as Low-Rank Subspaces

Jiaqi Mu, Suma Bhat+1 more|arXiv (Cornell University)|Apr 18, 2017

Topic Modeling参考文献 24被引用 5

一句话总结

本文提出将句子表示为由其词向量张成的低秩子空间，利用几何观察：句子中词表示位于低维子空间内（秩3–5）。该方法在19个语义文本相似度（STS）数据集上平均优于词向量平均法和最先进的神经网络模型（如skip-thought向量）15%，展现出更优的鲁棒性和无监督语义捕捉能力。

ABSTRACT

Sentences are important semantic units of natural language. A generic, distributional representation of sentences that can capture the latent semantics is beneficial to multiple downstream applications. We observe a simple geometry of sentences -- the word representations of a given sentence (on average 10.23 words in all SemEval datasets with a standard deviation 4.84) roughly lie in a low-rank subspace (roughly, rank 4). Motivated by this observation, we represent a sentence by the low-rank subspace spanned by its word vectors. Such an unsupervised representation is empirically validated via semantic textual similarity tasks on 19 different datasets, where it outperforms the sophisticated neural network models, including skip-thought vectors, by 15% on average.

研究动机与目标

• 开发一种简单而有效的无监督句子表示方法，无需依赖复杂的神经架构即可捕捉潜在语义。
• 探究是否可通过将词向量建模为位于低秩子空间而非平均为单一向量，来更好地捕捉句子级语义。
• 利用Grassmannian几何测量子空间相似性，验证相似句子应具有相似子空间的假设。
• 在语义文本相似度任务中，超越现有强基线模型，包括词向量平均法和复杂的神经网络模型。
• 为句子表示提供一种对噪声或无关词具有鲁棒性的几何基础，尤其在长句中表现更优。

提出的方法

• 本文将句子表示为由其组成词向量张成的低秩子空间，使用奇异值分解（SVD）识别主导子空间。
• 通过两个子空间之间奇异值的ℓ₂-范数来建模句子相似性，该值对应于它们主夹角的余弦值。
• 该方法应用于预训练的词嵌入（GloVe和word2vec），并对所有句子采用固定的秩4，与句子长度无关。
• 使用皮尔逊相关系数在19个SemEval STS数据集上评估子空间表示，涵盖新闻、Twitter和WordNet定义等多样化领域。
• 该方法避免了向量平均，可减少功能词带来的偏差，同时保留子空间中语义丰富的方向。
• 使用Grassmannian流形作为表示空间，基于子空间对齐实现句子间的几何相似性度量。

实验结果

研究问题

• RQ1 能否通过将句子表示为由其词向量张成的低秩子空间，有效捕捉句子语义？
• RQ2 基于子空间的句子表示是否在语义文本相似度任务中优于简单的词向量平均法？
• RQ3 该子空间方法在多样化NLP数据集上的性能与复杂神经网络模型（如skip-thought向量）相比如何？
• RQ4 词向量在句子中的低秩子空间特性是否在不同句子长度和领域中保持一致？
• RQ5 子空间的几何相似性能否作为句子间语义相似性的可靠代理？

主要发现

• 所提出的基于子空间的句子表示方法，在19个STS数据集上平均优于词向量平均基线14%。
• 在相同基准测试中，该方法在平均性能上比最先进的神经网络模型（包括skip-thought向量）高出15%。
• 该方法在多样化领域中保持高性能，包括新闻、Twitter、WordNet定义和图像字幕，且收益一致。
• 例如，在2015年'images'数据集中，该方法实现了70.53的皮尔逊相关系数，优于次佳基线超过10分。
• 与平均法相比，子空间表示更具鲁棒性，尤其在长句中，因其受无关词或功能词的影响更小。
• 实证结果证实，句子中词向量确实位于低秩子空间（秩3–5）内，验证了该方法的核心几何假设。