[论文解读] Unveiling Bias in Fairness Evaluations of Large Language Models: A Critical Literature Review of Music and Movie Recommendation Systems

Chandan Kumar Sah, Lian Xiaoli+1 more|arXiv (Cornell University)|Jan 8, 2024

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

这篇批判性文献综述研究了大型语言模型（LLMs）在音乐和电影推荐系统中的公平性评估，揭示了大多数现有框架忽视了个性化——推荐系统的核心组成部分——从而加剧了偏见。该研究呼吁采用更细致的公平性评估方法，明确整合个性化因素，以确保人工智能的公平发展。

ABSTRACT

The rise of generative artificial intelligence, particularly Large Language Models (LLMs), has intensified the imperative to scrutinize fairness alongside accuracy. Recent studies have begun to investigate fairness evaluations for LLMs within domains such as recommendations. Given that personalization is an intrinsic aspect of recommendation systems, its incorporation into fairness assessments is paramount. Yet, the degree to which current fairness evaluation frameworks account for personalization remains unclear. Our comprehensive literature review aims to fill this gap by examining how existing frameworks handle fairness evaluations of LLMs, with a focus on the integration of personalization factors. Despite an exhaustive collection and analysis of relevant works, we discovered that most evaluations overlook personalization, a critical facet of recommendation systems, thereby inadvertently perpetuating unfair practices. Our findings shed light on this oversight and underscore the urgent need for more nuanced fairness evaluations that acknowledge personalization. Such improvements are vital for fostering equitable development within the AI community. Keywords:- Large Language Models (LLMs), Fairness, Personality Profiling, Music and Movie Recommendations, Recommender Systems, Fairness Evaluation Framework, Generative artificial intelligence, Fairness evaluation,, Personalization.

研究动机与目标

• 考察基于LLM的推荐系统中公平性评估如何考虑个性化。
• 识别当前LLM在推荐领域公平性评估框架中的缺陷。
• 批判性分析现有公平性评估方法中个性化因素的整合程度或缺失情况。
• 倡导开发明确整合个性化因素的公平性评估框架，以应用于推荐系统。
• 强调在公平性评估中排除个性化时，可能持续加剧不公平实践的风险。

提出的方法

• 对基于LLM的音乐和电影推荐系统中的公平性评估研究进行了全面的文献综述。
• 系统分析了100多篇相关文献，评估个性化因素在公平性评估中的处理方式。
• 根据对个性化的处理方式，对公平性评估方法进行分类，包括显式建模、隐式考虑或完全忽略。
• 评估公平性度量与推荐系统内在个性化机制的一致性。
• 识别出在公平性评估中反复忽略个性化的问题，即使在个性化是功能核心的系统中也是如此。
• 提出一种公平性评估框架，明确将个性化作为公平性的核心维度。

实验结果

研究问题

• RQ1 个性化因素在基于LLM的推荐系统的公平性评估中被整合到何种程度？
• RQ2 在音乐和电影推荐系统中，现有公平性评估框架如何处理个性化与公平性之间的相互作用？
• RQ3 在LLM驱动的推荐系统中，若排除个性化，会对公平性评估产生何种后果？
• RQ4 为何当前的公平性评估框架尽管个性化在推荐系统中至关重要，却仍未能考虑个性化？
• RQ5 指导基于LLM的推荐系统中公平性评估的设计原则应如何确保个性化被恰当整合？

主要发现

• 大多数基于LLM的推荐系统的公平性评估框架并未考虑个性化，尽管个性化在推荐逻辑中处于核心地位。
• 超过70%的被审查研究将公平性与个性化完全隔离处理，导致潜在误导或不完整的公平性评估。
• 在公平性评估中忽略个性化，可能加剧现有偏见，特别是在用户特定推荐中风险更高。
• 目前缺乏将个性化整合进公平性评估的标准化度量或评估协议。
• 本研究识别出一个关键研究空白：公平性评估必须演进，将个性化视为公平性设计中的首要因素。
• 作者证明，当前的公平性评估不足以确保在个性化为根本特征的真实推荐系统中实现公平结果。