[论文解读] What you can cram into a single vector: Probing sentence embeddings for linguistic properties

Alexis Conneau, Germán Kruszewski+3 more|arXiv (Cornell University)|May 2, 2018

Topic Modeling参考文献 41被引用 276

一句话总结

本文提出了10个探针任务，用于分析在不同编码器和训练方法下，句子嵌入中编码了哪些语言信息，并将探针结果与下游任务相关联。

ABSTRACT

Although much effort has recently been devoted to training high-quality sentence embeddings, we still have a poor understanding of what they are capturing. "Downstream" tasks, often based on sentence classification, are commonly used to evaluate the quality of sentence representations. The complexity of the tasks makes it however difficult to infer what kind of information is present in the representations. We introduce here 10 probing tasks designed to capture simple linguistic features of sentences, and we use them to study embeddings generated by three different encoders trained in eight distinct ways, uncovering intriguing properties of both encoders and training methods.

研究动机与目标

• 评估在跨越多样架构的固定大小句子嵌入中保留了哪些语言属性。
• 系统地控制探针任务设计，以实现跨模型的比较。
• 考察训练目标如何影响嵌入中编码的语言信息。
• 将探针任务的表现与下游分类和推理任务相关联。

提出的方法

• 定义10个探针任务，使用单句输入，针对表层、句法和语义属性。
• 评估多种编码器（BiLSTM-last/max、BiLSTM-max、Gated ConvNet），在多样化目标下训练。
• 在NMT、NLI、AutoEncoder、Seq2Tree、SkipThought及无监督基线，以及未训练的随机投影上训练编码器。
• 在预先学得的嵌入之上使用固定分类器（MLP）来预测探针任务标签。
• 将探针结果与下游 SentEval 基准进行比较，以评估相关性。
• 公开发布探针数据和工具以供公众使用。

实验结果

研究问题

• RQ1 不同句子嵌入保留或可恢复哪些语言属性？
• RQ2 编码器架构和训练目标如何塑造句子表示中编码的信息？
• RQ3 探针任务结果是否与下游NLP任务的表现相关？
• RQ4 未训练的架构是否能为句子表示提供强先验，它们与训练模型相比如何？

主要发现

• 向量袋（Bag-of-Vectors，BoV）出人意料地保留了某些句子属性，尤其是表层和一些句法线索，但缺乏词序敏感性。
• 在相同目标下训练的编码架构产生的嵌入具备不同的语言属性，凸显了架构先验。
• BiLSTM-max 在训练前也常表现出强探针性能，表明固有的架构偏差。
• NMT 训练的编码器在探针任务上往往比训练于 NLI 的更具语言意识，尽管 NLI 更好地保留下游任务的浅层词汇特征。
• WC（word content）与下游任务呈正相关，而 SentLen（句子长度）与许多下游任务呈负相关；SOMO 与 CoordInv 探测更深层次的语义知识。