[论文解读] OpinionGPT: Modelling Explicit Biases in Instruction-Tuned LLMs

Patrick Haller, Ansar Aynetdinov+1 more|arXiv (Cornell University)|Sep 7, 2023

Text Readability and Simplification被引用 4

一句话总结

OpinionGPT 引入了一个基于网络的演示系统，明确建模并对比了指令微调的大语言模型中的多种社会偏见——如政治、地理、性别和年龄相关的观点。通过在基于 Reddit 的指令-响应对上微调 LLaMA 模型，并标注其所属的人口统计偏见，该系统能够生成并列呈现的响应，反映不同的观点，从而实现对偏见的透明化展示，而非掩盖。

ABSTRACT

Instruction-tuned Large Language Models (LLMs) have recently showcased remarkable ability to generate fitting responses to natural language instructions. However, an open research question concerns the inherent biases of trained models and their responses. For instance, if the data used to tune an LLM is dominantly written by persons with a specific political bias, we might expect generated answers to share this bias. Current research work seeks to de-bias such models, or suppress potentially biased answers. With this demonstration, we take a different view on biases in instruction-tuning: Rather than aiming to suppress them, we aim to make them explicit and transparent. To this end, we present OpinionGPT, a web demo in which users can ask questions and select all biases they wish to investigate. The demo will answer this question using a model fine-tuned on text representing each of the selected biases, allowing side-by-side comparison. To train the underlying model, we identified 11 different biases (political, geographic, gender, age) and derived an instruction-tuning corpus in which each answer was written by members of one of these demographics. This paper presents OpinionGPT, illustrates how we trained the bias-aware model and showcases the web application (available at https://opiniongpt.informatik.hu-berlin.de).

研究动机与目标

• 研究训练数据中的固有偏见如何影响大语言模型在政治和人口统计敏感领域中的响应。
• 挑战主流的偏见抑制范式，转而通过在模型输出中明确呈现并透明化偏见。
• 开发一种工具，使用户能够比较同一问题从多个带有偏见视角出发的回答。
• 为研究人员和公众提供一个平台，用于研究自然语言处理系统中的主观性、语言差异和偏见。
• 提高人们对人口统计和文化视角在语言生成中作用的认识，同时不支持任何特定观点。

提出的方法

• 通过收集与特定人口群体（如 'r/conservative'、'r/DebatePolitics'、'r/AskGermany'）相关的子版块中的 Reddit 帖子和回复，构建了一个具有偏见意识的指令微调语料库。
• 为每个响应标注其关联的偏见类别，包括政治（自由派、保守派）、地理（美国、德国、中东、拉丁美洲）、年龄（青少年、30岁以上、45岁以上）和性别（男性、女性）。
• 使用筛选后的数据集，对 LLaMA 模型进行指令微调，每个响应均关联特定的偏见标签。
• 设计了一个网络界面，允许用户输入问题并选择多个偏见类别，触发模型为每个选定的偏见生成独立响应。
• 在推理过程中采用提示工程策略，将选定的偏见作为条件输入模型，确保每个响应体现相应的群体视角。
• 使用匿名化且去标识化的用户交互数据，不发布模型以防止滥用，并通过受保护的 API 仅限研究用途访问。

实验结果

研究问题

• RQ1 不同的个人统计偏见（政治、地理、年龄、性别）如何影响指令微调的大语言模型生成的响应？
• RQ2 单个大语言模型在多组预定义偏见类别下，能在多大程度上被微调以生成语境恰当且各不相同的响应？
• RQ3 在模型输出中显式呈现偏见，能否提升对自然语言处理系统中主观性的透明度和理解？
• RQ4 在类似 Reddit 这类在线论坛的数据上进行微调时，偏见泄露和混淆的风险是什么？
• RQ5 如何伦理地部署具有偏见意识的模型，以促进对话而不助长有害意识形态？

主要发现

• OpinionGPT 模型成功为每个选定的偏见类别生成了独特且语境相关的响应，表明在带有偏见标签的数据上进行微调，可实现对视角的可控生成。
• 不同偏见下的响应存在显著差异——例如，问题“举两个知名电视新闻频道的例子”在保守派视角下生成了 'Fox News'，自由派视角下为 'the Verge'，美国视角下为 'CNN'，德国视角下为 'Tagesschau'。
• 模型展现出细致入微的响应，反映出与各偏见群体相关的语言和文化特征，表明其有效捕捉了特定视角的语言模式。
• 尽管取得成功，该模型仍继承了 Reddit 用户群体的全球性偏见，即模型中的“美国人”或“德国人”仅代表在特定子版块发帖的用户，而非整体人口。
• 观察到偏见泄露现象，即某一偏见群体的响应偶尔会反映出另一群体的特征，表明微调过程中可能存在混淆。
• 该项目突显了部署具有偏见意识模型的伦理风险，因此决定不公开发布模型，而仅通过受保护的 API 向研究人员提供访问。