[论文解读] SemEval-2017 Task 1: Semantic Textual Similarity - Multilingual and Cross-lingual Focused Evaluation

Daniel Cer, Mona Diab+3 more|HAL (Le Centre pour la Communication Scientifique Directe)|Jul 31, 2017

Topic Modeling被引用 306

一句话总结

该论文提出了 SemEval-2017 的多语言与跨语言 STS 共享任务，详述了 Arabic、Spanish、Turkish 以及跨语言对的 tracks，数据准备、注释、训练/评估数据、参与者方法、结果，并介绍 STS Benchmark。

ABSTRACT

Semantic Textual Similarity (STS) measures the meaning similarity of sentences. Applications include machine translation (MT), summarization, generation, question answering (QA), short answer grading, semantic search, dialog and conversational systems. The STS shared task is a venue for assessing the current state-of-the-art. The 2017 task focuses on multilingual and cross-lingual pairs with one sub-track exploring MT quality estimation (MTQE) data. The task obtained strong participation from 31 teams, with 17 participating in all language tracks. We summarize performance and review a selection of well performing methods. Analysis highlights common errors, providing insight into the limitations of existing models. To support ongoing work on semantic representations, the STS Benchmark is introduced as a new shared training and evaluation set carefully selected from the corpus of English STS shared task data (2012-2017).

研究动机与目标

• 在多语言和跨语言对中推动并评估语义文本相似性（STS）。
• 提供一个共享的评估框架，推动多语言语义表示的前进。
• 引入 STS Benchmark，以实现对英语 STS 方法可比较、持续的评估。
• 提供关于当前多语言环境下 STS 模型常见错误与局限性的见解。

提出的方法

• 六个 track 涵盖阿拉伯语、阿拉伯语-英语、西班牙语、西班牙语-英语、西班牙语-英语 MT、英语，以及土耳其语-英语（第6轨）。
• 通过众包进行注释（Track 1–5）和专家注释（Track 4b）。
• 基于 SNLI 的评估数据，配有经过精心挑选的句子对以及基于余弦相似度的嵌入空间用于对对进行选择。
• 基于 MT 的跨语言轨道使用机器翻译统一语言以便基线和比较。
• 训练数据来自英语、西班牙语，以及翻译后的阿拉伯语/土耳其语数据； Track 4b 添加了 MT 质量估计数据。
• 评估使用皮尔逊相关系数对比人类 STS 判断；基线是二值词向量的余弦度量。
• STS Benchmark 由英语 STS 数据（2012–2017）创建，用于标准化的训练/评估。

实验结果

研究问题

• RQ1 多语言和跨语言 STS 模型在阿拉伯语、西班牙语、土耳其语以及跨语言对上的相关性与人工判断的相关性有多强？
• RQ2 多语言 STS 中主要的迁移挑战是什么（如翻译错误、语义漂移）？
• RQ3 在多语言/跨语言 STS 中，特征工程系统与深度学习模型的对比如何？
• RQ4 STS 分数与 MT 质量估计分数之间的关系是什么？
• RQ5 共享基准（STS Benchmark）是否能在时间上支持跨研究的可比性？

主要发现

• ECNU 在所有 tracks 上取得了最佳的总体平均相关系数（r ≈ 0.7316）。
• Track 2（阿拉伯语-英语）达到 r ≈ 0.7493；Track 3（西班牙语）达到 r ≈ 0.8559；Track 6（土耳其语-英语）ECNU 达到 r ≈ 0.7706。
• Track 4a（SNLI 西班牙语-英语）由 CompiLIG 获得领先（r ≈ 0.8302）。
• SEF@UHH 在 Track 4b（西班牙语-英语 MT）领先，r ≈ 0.3407。
• 基线的句子向量余弦方法在 Tracks 1–5 的平均 r 为 53.7，显示出简单基线与顶尖系统之间的实力差距。
• STS Benchmark 使跨年度（2012–2017）具有可比性评估，并支持跟踪最先进的进展。