[论文解读] Separating form and meaning: Using self-consistency to quantify task understanding across multiple senses

Xenia Ohmer, Elia Bruni+1 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用 6

一句话总结

本文提出了一种新颖的评估范式，通过多语言翻译中的一致性来衡量大语言模型（LLM）对任务的理解，而非依赖静态基准。该方法通过让模型生成自身输入的多语言翻译，并评估不同语言下输出的一致性，从而检测出依赖于语言形式的理解偏差。研究发现，即使是最先进的ChatGPT也表现出显著的多语言不一致性，表明其任务理解对语言形式变化并不鲁棒。

ABSTRACT

At the staggering pace with which the capabilities of large language models (LLMs) are increasing, creating future-proof evaluation sets to assess their understanding becomes more and more challenging. In this paper, we propose a novel paradigm for evaluating LLMs which leverages the idea that correct world understanding should be consistent across different (Fregean) senses of the same meaning. Accordingly, we measure understanding not in terms of correctness but by evaluating consistency across multiple senses that are generated by the model itself. We showcase our approach by instantiating a test where the different senses are different languages, hence using multilingual self-consistency as a litmus test for the model's understanding and simultaneously addressing the important topic of multilinguality. Taking one of the latest versions of ChatGPT as our object of study, we evaluate multilingual consistency for two different tasks across three different languages. We show that its multilingual consistency is still lacking, and that its task and world understanding are thus not language-independent. As our approach does not require any static evaluation corpora in languages other than English, it can easily and cheaply be extended to different languages and tasks and could become an integral part of future benchmarking efforts.

研究动机与目标

• 为解决评估大语言模型是否理解任务本质而非仅依赖表面形式模式的挑战。
• 通过在评估期间动态生成替代语言形式，减轻基准测试中的数据污染。
• 开发一种可扩展、低成本的评估方法，实现语言形式与语义理解的分离。
• 探究大语言模型在不同语言间是否保持一致的世界知识，以多语言自一致性作为检测指标。
• 提供一种未来可靠的评估框架，即使在模型更新或数据泄露的情况下依然有效。

提出的方法

• 通过提示模型将输入翻译为其他语言，利用模型自身的翻译能力，生成同一输入的替代语言形式（语义变体）。
• 通过比较模型在原始输入和其翻译版本上的输出来衡量一致性；高一致性表明世界理解稳定。
• 该方法避免数据污染，因为每次评估均动态生成新鲜翻译，不存储或重复使用。
• 该方法应用于两个NLP任务——释义检测（PAWS-X）和自然语言蕴含（XNLI），覆盖英语、德语和中文。
• 在原始输入和模型生成的翻译上评估性能，并通过消融实验分离指令语言与输入语言的影响。
• 对高质量翻译子集（BLEU > 50）进行单独分析，以评估在更高翻译质量下一致性是否依然成立。

Figure 1: Illustration of the basic mechanism of our paradigm: We use the model to generate other senses of the original input. The model’s answers on the original input and the alternative sense are used to evaluate its consistency. In this example, the model is presented with the task of paraphras

实验结果

研究问题

• RQ1 当输入由模型自身翻译为其他语言时，大语言模型在不同语言间在任务性能上保持一致的程度如何？
• RQ2 模型对任务的理解是否依赖于任务呈现的语言形式（如语言本身）？
• RQ3 多语言自一致性能否作为世界知识和任务理解的可靠代理，而独立于记忆化的模式？
• RQ4 当仅指令或仅输入被翻译为其他语言时，模型性能如何变化？
• RQ5 即使原始任务为非英语语言，将输入和指令翻译为英语是否能提升一致性与性能？

主要发现

• 在PAWS-X和XNLI任务中，ChatGPT均表现出较低的多语言一致性，使用原始输入时的一致性得分分别为0.72和0.70。
• 在PAWS-X中，仅有35.6%的高质量翻译（BLEU > 50）产生了一致输出，表明即使翻译准确，也无法保证推理一致性。
• 在XNLI中，当仅考虑高BLEU翻译时，一致性进一步下降至10.5%，表明翻译质量本身无法解决不一致性问题。
• 当指令被更改为非英语语言时，性能显著下降：XNLI的准确率从英语的0.71降至德语的0.50和中文的0.60。
• 将输入和指令翻译为英语可提升所有源语言的性能，其中指令翻译带来的增益最大，表明指令形式对模型行为有显著影响。
• 即使在高质量翻译（BLEU > 50）下，一致性依然较低——PAWS-X为35.6%，XNLI为10.5%，这为模型理解并非对语言形式不变提供了强有力证据。

Figure 2: An overview of our experiments and analyses.