[论文解读] Regional Bias in Large Language Models

M P V S Gopinadh, Kappara Lakshmi Sindhu+2 more|arXiv (Cornell University)|Jan 22, 2026

Ethics and Social Impacts of AI被引用 0

一句话总结

论文介绍 FAZE，一种基于提示的框架，使用 100 条中性提示来量化十个最前沿 LLM 的区域（地理）偏见，揭示模型之间在区域偏见上的显著差异。

ABSTRACT

This study investigates regional bias in large language models (LLMs), an emerging concern in AI fairness and global representation. We evaluate ten prominent LLMs: GPT-3.5, GPT-4o, Gemini 1.5 Flash, Gemini 1.0 Pro, Claude 3 Opus, Claude 3.5 Sonnet, Llama 3, Gemma 7B, Mistral 7B, and Vicuna-13B using a dataset of 100 carefully designed prompts that probe forced-choice decisions between regions under contextually neutral scenarios. We introduce FAZE, a prompt-based evaluation framework that measures regional bias on a 10-point scale, where higher scores indicate a stronger tendency to favor specific regions. Experimental results reveal substantial variation in bias levels across models, with GPT-3.5 exhibiting the highest bias score (9.5) and Claude 3.5 Sonnet scoring the lowest (2.5). These findings indicate that regional bias can meaningfully undermine the reliability, fairness, and inclusivity of LLM outputs in real-world, cross-cultural applications. This work contributes to AI fairness research by highlighting the importance of inclusive evaluation frameworks and systematic approaches for identifying and mitigating geographic biases in language models.

研究动机与目标

• 推动研究大规模语言模型在公平性与全球表示方面的地理/区域偏见的必要性。
• 引入 FAZE，一个轻量级框架，用于在中性背景下衡量区域特定承诺。
• 提供跨模型的基准测试，帮助理解训练、对齐与架构如何影响区域偏见。

提出的方法

• 将 FAZE 定义为一个基于提示的评估，在中性条件下捕捉面向用户的区域承诺倾向。
• 构建 100 条语境中性提示的数据集，探测强制性区域决策。
• 在 10 个 LLM 上对 1,000 条模型响应进行评估，采用单次运行协议以反映默认行为。
• 将每个回答分类为 Unknown 或 Non-Unknown，以计算归一化的 10 分 FAZE 得分。
• 将 FAZE 得分定义为 (N_total - N_unknown)/N_total * 10，分数越高表示区域偏见越强。

Figure 1: FAZE scores across evaluated models

实验结果

研究问题

• RQ1 在中性、强制选择提示下，最前沿的 LLM 在区域偏见方面是否存在显著差异？
• RQ2 模型架构、训练与对齐如何与不同 LLM 的区域偏见相关联？
• RQ3 FAZE 是否是一个可靠、可重复的跨模型地理公平性基准指标？
• RQ4 区域偏见对实际、跨文化的 AI 应用有哪些现实意义？

主要发现

• FAZE 得分在 9.5（GPT-3.5）到 2.5（Claude 3.5 Sonnet）之间变化。
• 在最具偏见与最不具偏见的模型之间，区域偏见存在 3.8 倍的差异。
• GPT-3.5 和 Llama 3 在中性线索下仍显示高比例的地域特定回答。
• Claude 3.5 Sonnet 与 Mistral 7B 实现了较低的偏见分数，表明对齐策略可能降低区域承诺。
• 偏见不仅仅与模型规模相关；训练与对齐选择会影响地理偏见。
• 研究记录了在架构和训练方案之间存在的偏见显著差异。