[论文解读] Understanding Biases in ChatGPT-based Recommender Systems: Provider Fairness, Temporal Stability, and Recency

Yashar Deldjoo|arXiv (Cornell University)|Jan 19, 2024

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文研究了基于ChatGPT的推荐系统中的偏见，表明提示工程设计——尤其是基于角色的提示——能显著提升电影推荐的公平性、多样性与时效性。研究发现，GPT模型在推荐较新、类型多样的影片（尤其是2000年后上映的剧情片与喜剧片）方面优于传统协同过滤方法，且在提示中加入用户评分可进一步提升推荐的准确性与稳定性。

ABSTRACT

This paper explores the biases in ChatGPT-based recommender systems, focusing on provider fairness (item-side fairness). Through extensive experiments and over a thousand API calls, we investigate the impact of prompt design strategies-including structure, system role, and intent-on evaluation metrics such as provider fairness, catalog coverage, temporal stability, and recency. The first experiment examines these strategies in classical top-K recommendations, while the second evaluates sequential in-context learning (ICL). In the first experiment, we assess seven distinct prompt scenarios on top-K recommendation accuracy and fairness. Accuracy-oriented prompts, like Simple and Chain-of-Thought (COT), outperform diversification prompts, which, despite enhancing temporal freshness, reduce accuracy by up to 50%. Embedding fairness into system roles, such as "act as a fair recommender," proved more effective than fairness directives within prompts. Diversification prompts led to recommending newer movies, offering broader genre distribution compared to traditional collaborative filtering (CF) models. The second experiment explores sequential ICL, comparing zero-shot and few-shot ICL. Results indicate that including user demographic information in prompts affects model biases and stereotypes. However, ICL did not consistently improve item fairness and catalog coverage over zero-shot learning. Zero-shot learning achieved higher NDCG and coverage, while ICL-2 showed slight improvements in hit rate (HR) when age-group context was included. Our study provides insights into biases of RecLLMs, particularly in provider fairness and catalog coverage. By examining prompt design, learning strategies, and system roles, we highlight the potential and challenges of integrating LLMs into recommendation systems. Further details can be found at https://github.com/yasdel/Benchmark_RecLLM_Fairness.

研究动机与目标

• 探究提示工程策略如何影响基于ChatGPT的推荐系统中的推荐质量。
• 比较基于GPT的模型与传统协同过滤（CF）基线在准确性、公平性、多样性与时效稳定性方面的表现。
• 分析在提示中引入用户评分对推荐个性化与可靠性的影响。
• 理解为何基于GPT的模型相较于CF模型更倾向于推荐较新且类型多样的影片。
• 识别通过约束性提示、少样本学习与混合RAG框架提升RecLLM性能的机会。

提出的方法

• 采用多种提示工程策略，包括基于角色的提示（如“你是一位公平的推荐者”）与推理范式（如思维链，Chain-of-Thought）。
• 在隐式提示（无评分）与显式提示（含评分）场景下评估GPT模型，以分析个性化影响。
• 通过多种指标比较推荐结果：NDCG、Recall、提供方公平性、类型多样性与时效性（对2000年后电影的偏好）。
• 使用置信区间评估模型在多次运行中性能的统计稳定性。
• 将GPT输出限制在预定义测试集的项目范围内，以在数据集边界内评估准确度与相关性。
• 提出未来通过检索增强生成（RAG）框架将GPT与CF结合，以平衡个性化与探索性。

Figure 1 . Conceptual idea behind our work

实验结果

研究问题

• RQ1 不同的提示工程策略如何影响基于GPT的电影推荐系统在公平性、多样性和准确性方面的表现？
• RQ2 基于GPT的模型在推荐较新且类型更多样的影片方面，相较于传统协同过滤模型，优势有多大？
• RQ3 在提示中显式包含用户评分对基于GPT的推荐的稳定性与准确性有何影响？
• RQ4 为何基于GPT的模型表现出对2000年后电影及剧情片、喜剧片等类型（如剧情与喜剧）的偏好，而非动作片与冒险片？
• RQ5 如何通过提示约束与少样本学习提升基于GPT的推荐的相关性与准确性？

主要发现

• 基于角色的提示显著提升了提供方公平性与多样性，有效缓解了推荐中的流行度偏见。
• ‘Include-rating’ GPT模型表现最佳，NDCG达到0.013230，Recall达到0.014721，优于其他基于GPT的场景。
• GPT模型表现出对较新影片的强烈偏好，特别是2000年后上映的影片，表明其推荐具有良好的时效性。
• GPT模型表现出对‘剧情’、‘喜剧’与‘爱情’类别的偏好——这与CF模型对‘动作’与‘冒险’类别的偏好形成对比——可能源于其在训练数据中接触到了近期文化趋势。
• 思维链（COT）与简单提示策略在所有测试的基于GPT的方法中取得了最高的准确性。
• ‘Include-rating’模型的NDCG（0.009737–0.017012）与Recall（0.010261–0.019795）置信区间，证实了其性能的稳健与可靠。

(a) NDCG@10.