[论文解读] Uncertainty and Fairness Awareness in LLM-Based Recommendation Systems

Chandan Kumar Sah, Xiaoli Lian+3 more|arXiv (Cornell University)|Jan 31, 2026

Ethics and Social Impacts of AI被引用 0

一句话总结

论文分析预测不确定性和人口统计/性格偏见如何影响基于大模型的推荐，使用 Gemini 1.5 引入一个不确定性感知的公平性基准，并提出一个与性格相关的公平性框架。

ABSTRACT

Large language models (LLMs) enable powerful zero-shot recommendations by leveraging broad contextual knowledge, yet predictive uncertainty and embedded biases threaten reliability and fairness. This paper studies how uncertainty and fairness evaluations affect the accuracy, consistency, and trustworthiness of LLM-generated recommendations. We introduce a benchmark of curated metrics and a dataset annotated for eight demographic attributes (31 categorical values) across two domains: movies and music. Through in-depth case studies, we quantify predictive uncertainty (via entropy) and demonstrate that Google DeepMind's Gemini 1.5 Flash exhibits systematic unfairness for certain sensitive attributes; measured similarity-based gaps are SNSR at 0.1363 and SNSV at 0.0507. These disparities persist under prompt perturbations such as typographical errors and multilingual inputs. We further integrate personality-aware fairness into the RecLLM evaluation pipeline to reveal personality-linked bias patterns and expose trade-offs between personalization and group fairness. We propose a novel uncertainty-aware evaluation methodology for RecLLMs, present empirical insights from deep uncertainty case studies, and introduce a personality profile-informed fairness benchmark that advances explainability and equity in LLM recommendations. Together, these contributions establish a foundation for safer, more interpretable RecLLMs and motivate future work on multi-model benchmarks and adaptive calibration for trustworthy deployment.

研究动机与目标

• 将不确定性量化作为 RecLLMs 的可靠性与公平性辅助工具的动机。
• 研究提示词变体与人口属性如何影响基于大模型的推荐的公平性。
• 开发并应用一个不确定性感知的RecLLMs评估框架。
• 引入基于性格条件的提示以研究偏见模式。
• 提出基准与方法，以提高基于大模型的推荐的可解释性与公平性。

提出的方法

• 使用在基于大模型的排序输出中的熵来量化预测不确定性。
• 构建覆盖电影与音乐的八种人口属性（31 个值）的精选数据集。
• 设计包含人口与性格信号的公平性提示，以衡量输出的可变性。
• 评估 Gemini 1.5 Flash 在中性与敏感提示下的公平性与不确定性。
• 计算基于相似性的非公平性指标 SNSR 与 SNSV，以及性格提示的 PA 公平分数（PAFS）。
• 分析对提示扰动（拼写错误、多语言提示）的鲁棒性并报告领域特定偏见。

Figure 1: Illustrates how uncertainty in deep learning models affects recommendation reliability, using probability estimates and explanations to highlight challenges in recognizing unfamiliar inputs.

实验结果

研究问题

• RQ1 RQ1: 预测不确定性（熵）如何影响基于大模型的推荐的可靠性？
• RQ2 RQ2: 面向提示扰动和多属性人口统计的情况下，LLM推荐系统的公平性差异是否鲁棒？
• RQ3 RQ3: 基于性格的提示如何揭示偏见模式，以及个性化与群体公平性之间的权衡？

主要发现

• 更高的预测熵与较不可靠的推荐相关。
• Gemini 在音乐和电影领域对若干敏感属性存在系统性不公平；SNSR 与 SNSV 量化差异（如表 3 给出的 SNSR/SNSV 值）。
• 在拼写错误和多语言提示等提示扰动下，不公平模式仍然存在。
• 基于性格的提示揭示偏见模式并凸显个性化与群体公平性之间的权衡。
• 提出的不确定性感知评估框架带来更稳健且可解释的公平性评估。
• 差异性具有领域和属性特异性，宗教、大陆、职业与国家等属性往往受影响最大。

Figure 2: Proposed Framework for Enhancing Uncertainty Quantification and Fairness in Training LLM-based Recommendation Systems