[论文解读] SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning

Bin Wang, Zhengyuan Liu+5 more|arXiv (Cornell University)|Sep 9, 2023

Topic Modeling被引用 4

一句话总结

SeaEval 引入了一个全面的多语言基础模型评估基准，涵盖经典 NLP 任务、推理能力、文化理解以及跨语言一致性。主要发现揭示了模型在语义等价的多语言查询下响应存在显著不一致，标签排列存在曝光偏差，且尽管经过训练，仍缺乏均衡的多语言能力，凸显了提升语义泛化能力和多语言上下文理解的必要性。

ABSTRACT

We present SeaEval, a benchmark for multilingual foundation models. In addition to characterizing how these models understand and reason with natural language, we also investigate how well they comprehend cultural practices, nuances, and values. Alongside standard accuracy metrics, we investigate the brittleness of foundation models in the dimensions of semantics and multilinguality. Our analyses span both open-sourced and closed models, leading to empirical results across classic NLP tasks, reasoning, and cultural comprehension. Key findings indicate (1) Most models exhibit varied behavior when given paraphrased instructions. (2) Many models still suffer from exposure bias (e.g., positional bias, majority label bias). (3) For questions rooted in factual, scientific, and commonsense knowledge, consistent responses are expected across multilingual queries that are semantically equivalent. Yet, most models surprisingly demonstrate inconsistent performance on these queries. (4) Multilingually-trained models have not attained "balanced multilingual" capabilities. Our endeavors underscore the need for more generalizable semantic representations and enhanced multilingual contextualization. SeaEval can serve as a launchpad for more thorough investigations and evaluations for multilingual and multicultural scenarios.

研究动机与目标

• 开发一个超越标准 NLP 任务的综合性基准，用于评估多语言基础模型。
• 研究模型在文化推理和多语言一致性方面的行为，特别是在语义等价但语言多样的输入下。
• 识别并分析由于语义和多语言不一致导致的模型响应脆弱性。
• 评估多语言训练模型是否在所有语言中实现了均衡的熟练度。
• 提供新的数据集和指标，填补文化及跨语言评估方面的空白。

提出的方法

• 该基准包含 28 个数据集，其中 6 个为文化推理和跨语言一致性新构建。
• 它从四个维度评估模型：经典 NLP、复杂推理、文化理解以及跨语言知识迁移。
• 在跨语言一致性方面，将相同的事实性或常识性问题翻译成多种语言（例如，英语、中文、印度尼西亚语、西班牙语等），以测试响应的一致性。
• 引入定制化指标以评估语义和多语言鲁棒性，包括在重述和多语言输入下的响应一致性。
• 评估涵盖开源和闭源基础模型，覆盖多样化的语言和文化背景。
• 通过 GitHub 提供排行榜和开源工具包，以支持可复现性和持续评估。

实验结果

研究问题

• RQ1 多语言基础模型在面对语义等价但语言多样的指令时，其响应在不同语言中是否具有一致性？
• RQ2 在多语言设置中，模型在多大程度上表现出曝光偏差，如位置偏差或多数标签偏差？
• RQ3 当语义保持不变时，模型在事实性、科学性和常识性问题上跨语言的知识迁移能力如何？
• RQ4 多语言训练的模型是否在所有语言中实现了均衡的熟练度，还是更倾向于某些特定语言？
• RQ5 模型在推理语言中嵌入的文化实践、价值观和细微差别方面表现如何？

主要发现

• 许多模型在接收到重述指令时产生不一致的响应，表明其在语义理解方面存在脆弱性。
• 尽管经过训练，曝光偏差（包括位置偏差和多数标签偏差）在多个模型中依然普遍存在。
• 模型在语义等价的多语言查询上对事实性和常识性知识的性能表现不一致，表明其语义表征未实现泛化。
• 多语言训练的模型未能实现‘均衡多语言’能力，其在不同语言中的表现存在显著差异。
• 文化推理任务揭示，模型常常误解文化特定线索，如仪式行为或语言中的社会信号。
• 该基准表明，当前模型即使在简单事实性问题上也缺乏稳健的跨语言一致性，严重削弱了其在多语言部署中的可信度。