[论文解读] Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics

Zihao Wang, Jiaheng Dou+1 more|arXiv (Cornell University)|Oct 5, 2022

Topic Modeling被引用 4

一句话总结

本文提出了一种新型无监督句子文本相似度方法——递归最优传输相似度（ROTS），通过递归的短语划分与最优传输对齐，捕捉组合性短语语义。ROTS在29个STS基准测试中达到最先进性能，无论在准确率还是效率方面均优于传统无监督方法及基于BERT的方法，具备线性时间复杂度和极低的计算开销。

ABSTRACT

Measuring Sentence Textual Similarity (STS) is a classic task that can be applied to many downstream NLP applications such as text generation and retrieval. In this paper, we focus on unsupervised STS that works on various domains but only requires minimal data and computational resources. Theoretically, we propose a light-weighted Expectation-Correction (EC) formulation for STS computation. EC formulation unifies unsupervised STS approaches including the cosine similarity of Additively Composed (AC) sentence embeddings, Optimal Transport (OT), and Tree Kernels (TK). Moreover, we propose the Recursive Optimal Transport Similarity (ROTS) algorithm to capture the compositional phrase semantics by composing multiple recursive EC formulations. ROTS finishes in linear time and is faster than its predecessors. ROTS is empirically more effective and scalable than previous approaches. Extensive experiments on 29 STS tasks under various settings show the clear advantage of ROTS over existing approaches. Detailed ablation studies demonstrate the effectiveness of our approaches.

研究动机与目标

• 开发一种轻量级、无监督的STS方法，无需大规模标注数据或昂贵的预训练，即可有效捕捉短语级语义。
• 将现有无监督STS方法——加法组合、最优传输与树核方法——统一于统一的期望校正（EC）公式下。
• 设计一种递归框架，通过最优传输组合更细粒度的短语嵌入，实现分层短语对齐。
• 在无监督STS中实现高性能与可扩展性，同时计算成本和数据需求极低。

提出的方法

• 提出期望校正（EC）相似度公式作为AC、OT与TK方法的统一框架，揭示其共享的结构特性。
• 提出递归短语划分（RPP），递归地将句子分解为短语级构成成分，支持组合性语义建模。
• 通过在每个递归划分层级应用EC相似度，并利用先验最优传输从粗粒度到细粒度引导对齐，构建递归最优传输相似度（ROTS）。
• 在递归层级间对短语向量与权重进行加法组合，以保留语义层次结构并提升对齐精度。
• 采用多级递归层级上EC相似度的加权集成，超参数易于调优以实现最优性能。
• 通过动态规划与递归分解实现线性时间复杂度，使其可扩展至长文本。

实验结果

研究问题

• RQ1 EC相似度这类统一公式能否有效统一并改进现有无监督STS方法，如加法组合、最优传输与树核？
• RQ2 与仅使用词级对齐相比，递归短语级对齐在多大程度上能提升句子相似度建模？
• RQ3 通过递归分解引入组合性短语语义，是否能在多样化领域中带来可测量的STS性能提升？
• RQ4 在低资源环境下，ROTS与经典无监督方法及基于BERT的监督方法相比，在准确率与效率方面表现如何？

主要发现

• ROTS在29个多样化STS基准测试中达到最先进性能，无论在有效性还是效率方面均优于所有先前的无监督方法，包括基于BERT的模型。
• 在STS-Benchmark上，ROTS使用ParaNMT向量实现72.90的皮尔逊相关系数（95%置信区间：[71.36, 74.38]），领先次佳方法超过0.6分。
• 使用SupWord向量时，ROTS在STS-B上实现79.74的皮尔逊相关系数（95%置信区间：[77.41, 81.77]），展现出对不同词嵌入类型的鲁棒性。
• ROTS在全部29项任务中持续优于AC、WRD与OT基线模型，皮尔逊相关系数平均提升1.5至2.5分。
• 消融实验证实，递归短语对齐与先验最优传输是关键组件，移除后性能显著下降。
• ROTS运行时间呈线性，显著快于以往的递归或树基方法，支持在真实应用中可扩展部署。