[论文解读] People's Perceptions Toward Bias and Related Concepts in Large Language Models: A Systematic Review

Lu Wang, Max Song+3 more|arXiv (Cornell University)|Sep 25, 2023

Topic Modeling被引用 5

一句话总结

本篇系统性综述综合了关于普通用户对大型语言模型（LLMs）偏见感知的实证研究发现，基于15项研究识别出关键偏见类型、应用场景及用户感知，揭示用户认为LLMs易出现刻板印象、逻辑不连贯和幻觉等问题，且感知受任务情境、心智模型和信任动态的显著影响，凸显了在偏见定义和以用户为中心的设计方面存在的关键缺口。

ABSTRACT

Large language models (LLMs) have brought breakthroughs in tasks including translation, summarization, information retrieval, and language generation, gaining growing interest in the CHI community. Meanwhile, the literature shows researchers' controversial perceptions about the efficacy, ethics, and intellectual abilities of LLMs. However, we do not know how people perceive LLMs that are pervasive in everyday tools, specifically regarding their experience with LLMs around bias, stereotypes, social norms, or safety. In this study, we conducted a systematic review to understand what empirical insights papers have gathered about people's perceptions toward LLMs. From a total of 231 retrieved papers, we full-text reviewed 15 papers that recruited human evaluators to assess their experiences with LLMs. We report different biases and related concepts investigated by these studies, four broader LLM application areas, the evaluators' perceptions toward LLMs' performances including advantages, biases, and conflicting perceptions, factors influencing these perceptions, and concerns about LLM applications.

研究动机与目标

• 理解普通用户在现实应用中对大型语言模型（LLMs）偏见及相关问题的感知方式。
• 识别用户报告体验到的具体偏见类型及相关概念（例如刻板印象、幻觉、不连贯性）。
• 考察情境因素（如任务类型、领域和用户期望）如何影响对LLM性能和公平性的感知。
• 探讨用户心智模型、信任感和可解释性在塑造LLM感知中的作用。
• 识别当前研究中的缺口，特别是关于定义清晰度、偏见测量以及感知个体差异方面的不足。

提出的方法

• 采用PRISMA指南开展系统性文献综述，筛选231篇论文，并根据纳入标准选择15篇进行全文审查。
• 聚焦于包含人类评估者（普通用户或非专家）在真实或模拟应用中评估其与LLM互动体验的研究。
• 对研究进行编码，内容包括偏见类型、应用领域、所用LLM模型、目标用户、评估者的人口统计与经验背景，以及报告的感知结果。
• 采用主题分析法对感知偏见、性能优势、矛盾感知及信任动态等发现进行分类。
• 探讨任务情境、用户期望和心智模型等因素如何影响对LLM行为的感知。
• 识别出方法论上的缺口，包括偏见定义不一致，以及对评估者特征报告不足。

实验结果

研究问题

• RQ1 RQ1：用户在LLMs中感知到哪些具体的偏见类型及相关概念（例如刻板印象、不连贯性、幻觉）？
• RQ2 RQ2：LLMs在哪些应用领域和情境中被用户评估？这些情境如何塑造感知？
• RQ3 RQ3：评估者对LLM性能有何感知，包括感知到的优势、偏见，以及对信任与可靠性的矛盾看法？
• RQ4 RQ4：哪些因素（如任务类型、领域、用户期望或心智模型）影响用户对LLM的感知？
• RQ5 RQ5：当前研究在用户对LLM偏见感知方面的关键关注点与缺口是什么？

主要发现

• 用户频繁报告感知到LLMs在种族、性别、宗教和社会地位方面存在偏见，包括将穆斯林与暴力相关联等刻板印象。
• 大量用户感知到LLMs易产生‘幻觉’——即生成事实错误或虚构内容，尤其在信息检索和摘要任务中更为明显。
• 许多用户将LLMs视为谷歌或维基百科的替代品，导致期望错配，当模型生成看似合理但错误的输出时产生困惑。
• 对LLMs的感知高度依赖于情境：用户在创意任务（如写诗）中更信任模型，但在决策或事实性任务中则表现出更大怀疑。
• 用户存在矛盾感知：部分用户称赞LLMs的连贯性和流畅性，而另一些用户则批评其不连贯、缺乏透明度和推理能力差，凸显了信任与怀疑的双重性。
• 本综述识别出研究中的关键缺口，包括偏见定义不一致、评估者人口统计信息报告不足，以及对感知和心智模型中个体差异关注不够。