[论文解读] The Political Preferences of LLMs

David Rozado|arXiv (Cornell University)|Feb 2, 2024

International Arbitration and Investment Law被引用 6

一句话总结

本论文使用 11 项政治取向测试分析 24 个最先进对话式 LLM 的政治取向，显示在提示后，许多聊天机器人呈现偏向左中的偏见，并且证明监督微调可以引导 LLM 朝向特定政治立场。

ABSTRACT

I report here a comprehensive analysis about the political preferences embedded in Large Language Models (LLMs). Namely, I administer 11 political orientation tests, designed to identify the political preferences of the test taker, to 24 state-of-the-art conversational LLMs, both closed and open source. When probed with questions/statements with political connotations, most conversational LLMs tend to generate responses that are diagnosed by most political test instruments as manifesting preferences for left-of-center viewpoints. This does not appear to be the case for five additional base (i.e. foundation) models upon which LLMs optimized for conversation with humans are built. However, the weak performance of the base models at coherently answering the tests' questions makes this subset of results inconclusive. Finally, I demonstrate that LLMs can be steered towards specific locations in the political spectrum through Supervised Fine-Tuning (SFT) with only modest amounts of politically aligned data, suggesting SFT's potential to embed political orientation in LLMs. With LLMs beginning to partially displace traditional information sources like search engines and Wikipedia, the societal implications of political biases embedded in LLMs are substantial.

研究动机与目标

• 使用标准化的政治取向测试评估当代对话式 LLM 中嵌入的政治偏好。
• 比较闭源和开源 LLM 对政治提示的回应。
• 评估基础模型与经过微调/对话优化模型在政治偏见方面的影响。
• 研究监督式微调是否可以将 LLM 引导至特定政治取向。
• 讨论随着 AI 成为主要信息来源，LLMs 的政治偏见的社会影响。

提出的方法

• 对 24 个最先进的对话式 LLM（包括闭源和开源模型）进行 11 项政治取向测试。
• 将对政治陈述/问题的回应与测试诊断出的政治偏好进行比较。
• 对比对话优化后的 LLM 与其基础模型之间的结果。
• 演示使用政治对齐数据进行监督微调（SFT）如何影响模型定位。
• 分析跨模型测试答案的鲁棒性和连贯性。

实验结果

研究问题

• RQ1 根据标准政治取向测试，现代对话式 LLM 是否表现出左中偏向的政治偏好？
• RQ2 在政治评估中，基础模型与其对话优化后的对手相比如何？
• RQ3 在有限的政治对齐数据下，监督微调是否能将 LLM 引导至特定政治取向？
• RQ4 考虑到 LLM 作为信息来源的角色，嵌入其中的政治偏见有何社会影响？

主要发现

• 大多数对话式 LLM 在政治提示上倾向生成与左中观点一致的回答。
• 基础模型在这些政治测试中显示出弱且不确定的结果，因为连贯性问题。
• 使用适量的政治对齐数据进行监督微调可以将 LLM 引导至目标政治取向。
• 该研究强调随着 LLM 越来越影响信息获取，其社会影响越来越重要。