[论文解读] Quantifying the Impact of Large Language Models on Collective Opinion Dynamics

Chao Li, Xing Su+4 more|arXiv (Cornell University)|Aug 7, 2023

Computational and Text Analysis Methods被引用 4

一句话总结

本研究提出了一种改进的Hegselmann-Krause模型，以模拟大型语言模型（LLMs）如何影响社交网络中的集体意见动态。通过将参与者分类为忽略LLMs、部分依赖LLMs或完全依赖LLMs的类型，作者发现当LLMs被部分使用时，意见多样性提高了38.6%，且在非使用者、部分使用者和完全使用者的比例为4:12:1时达到最优。该模型揭示了认知可接受性的非线性、递减边际效应，并表明引入对立意见的参与者可缓解LLMs输出的偏见。

ABSTRACT

The process of opinion expression and exchange is a critical component of democratic societies. As people interact with large language models (LLMs) in the opinion shaping process different from traditional media, the impacts of LLMs are increasingly recognized and being concerned. However, the knowledge about how LLMs affect the process of opinion expression and exchange of social opinion networks is very limited. Here, we create an opinion network dynamics model to encode the opinions of LLMs, cognitive acceptability and usage strategies of individuals, and simulate the impact of LLMs on opinion dynamics in a variety of scenarios. The outcomes of the simulations inform about effective demand-oriented opinion network interventions. The results from this study suggested that the output opinion of LLMs has a unique and positive effect on the collective opinion difference. The marginal effect of cognitive acceptability on collective opinion formation is nonlinear and shows a decreasing trend. When people partially rely on LLMs, the exchange process of opinion becomes more intense and the diversity of opinion becomes more favorable. In fact, there is 38.6% more opinion diversity when people all partially rely on LLMs, compared to prohibiting the use of LLMs entirely. The optimal diversity of opinion was found when the fractions of people who do not use, partially rely on, and fully rely on LLMs reached roughly 4:12:1. Our experiments also find that introducing extra agents with opposite/neutral/random opinions, we can effectively mitigate the impact of biased/toxic output from LLMs. Our findings provide valuable insights into opinion dynamics in the age of LLMs, highlighting the need for customized interventions tailored to specific scenarios to address the drawbacks of improper output and use of LLMs.

研究动机与目标

• 理解LLMs如何影响社交网络中的集体意见形成，尤其是与传统媒体相比的影响。
• 研究不同LLM使用策略（不使用、部分依赖、完全依赖）对意见动态的影响。
• 量化LLM输出质量（如偏见、毒性）对意见多样性和共识形成的影响。
• 识别可减轻有偏见或有毒LLM输出在意见网络中负面影响的最优干预策略。

提出的方法

• 将经典的Hegselmann-Krause（HK）模型扩展，以纳入LLMs双向影响意见形成的作用，建模三类参与者：NIN（不使用LLM）、NINL（部分依赖）和NIL（完全依赖）。
• 对HK模型进行了三项修改：LLMs的权威性影响、参与者固执程度，以及随机外部事件，以反映现实世界动态。
• 在不同LLM输出质量、使用策略和网络结构下，模拟了多种情境下的意见演化过程。
• 通过计算模拟测量意见多样性、共识形成，以及有偏见或有毒LLM输出的影响。
• 采用参数扫描法，识别出能最大化意见多样性的非使用者、部分使用者和完全使用者的最优比例。
• 通过引入持有对立、中立或随机意见的参与者，测试干预策略对缓解有偏见LLM输出的影响。

实验结果

研究问题

• RQ1 LLM生成的意见的引入如何影响社交网络中的集体意见多样性与共识？
• RQ2 认知可接受性对意见形成的影响有何边际效应？其影响如何随LLM使用程度非线性变化？
• RQ3 何种使用策略——部分依赖、完全依赖或不依赖——能最优化意见多样性并减少极化？
• RQ4 引入持有对立或中立意见的参与者是否能有效缓解有偏见或有毒LLM输出的影响？
• RQ5 针对特定LLM输出质量和使用模式，最优干预策略是什么？

主要发现

• LLM输出对集体意见差异具有独特且积极的影响，提升了意见多样性。
• 与完全禁止使用LLM相比，当所有个体部分依赖LLM时，意见多样性提高了38.6%。
• 为最大化意见多样性，非使用者、部分使用者和完全使用者之间的最优比例为4:12:1。
• 认知可接受性对意见形成的影响具有非线性特征，且随着可接受性提高而递减。
• 引入持有对立、中立或随机意见的参与者，能有效缓解有偏见或有毒LLM输出的负面影响。
• 对LLM的部分依赖增强了意见交流并提升了多样性，表明战略性整合优于全面禁止。