[论文解读] Neural Retrievers are Biased Towards LLM-Generated Content

Sunhao Dai, Yuqi Zhou+7 more|arXiv (Cornell University)|Oct 31, 2023

Topic Modeling参考文献 72被引用 5

一句话总结

本文揭示了神经检索模型在语义等价的情况下，对大语言模型生成文本的显著偏好，即‘来源偏差’现象。作者构建了两个新基准（SciFact+AIGC、NQ320K+AIGC），证明该偏差在第一阶段检索器和第二阶段重排序器中均持续存在，并提出一种即插即用的去偏约束方法，有效缓解了这一偏差。

ABSTRACT

Recently, the emergence of large language models (LLMs) has revolutionized the paradigm of information retrieval (IR) applications, especially in web search, by generating vast amounts of human-like texts on the Internet. As a result, IR systems in the LLM era are facing a new challenge: the indexed documents are now not only written by human beings but also automatically generated by the LLMs. How these LLM-generated documents influence the IR systems is a pressing and still unexplored question. In this work, we conduct a quantitative evaluation of IR models in scenarios where both human-written and LLM-generated texts are involved. Surprisingly, our findings indicate that neural retrieval models tend to rank LLM-generated documents higher. We refer to this category of biases in neural retrievers towards the LLM-generated content as the extbf{source bias}. Moreover, we discover that this bias is not confined to the first-stage neural retrievers, but extends to the second-stage neural re-rankers. Then, in-depth analyses from the perspective of text compression indicate that LLM-generated texts exhibit more focused semantics with less noise, making it easier for neural retrieval models to semantic match. To mitigate the source bias, we also propose a plug-and-play debiased constraint for the optimization objective, and experimental results show its effectiveness. Finally, we discuss the potential severe concerns stemming from the observed source bias and hope our findings can serve as a critical wake-up call to the IR community and beyond. To facilitate future explorations of IR in the LLM era, the constructed two new benchmarks are available at https://github.com/KID-22/Source-Bias.

研究动机与目标

• 探究大语言模型生成内容数量增长对信息检索（IR）系统的影响。
• 解决缺乏同时包含人工撰写与大语言模型生成文本的公开基准的问题，以实现更真实的IR评估。
• 识别并分析神经检索模型是否对大语言模型生成内容相较于人工撰写内容存在偏好。
• 开发一种即插即用的去偏策略，以减少神经检索模型中的来源偏差。

提出的方法

• 通过提示大语言模型在保持语义一致的前提下重写人工撰写文本，构建了两个新基准——SciFact+AIGC与NQ320K+AIGC，实现相关性的自动标注。
• 利用合成的AIGC数据模拟现实世界中人工文本与大语言模型生成文本共存于语料库的IR场景。
• 在新基准上评估多种神经检索模型（包括词袋、密集向量及重排序模型），以检测其在排序行为中的偏差。
• 从文本压缩的视角分析偏差，表明神经模型因大语言模型生成文本具有更强的结构与语义规律性，从而更优地理解与表征此类文本。
• 通过修改损失函数，提出一种即插即用的去偏约束，以惩罚对大语言模型生成文本预测的过度自信。
• 通过mAP与recall@k等定量指标，在多个检索模型与数据集上验证了去偏策略的有效性。

实验结果

研究问题

• RQ1 如何构建一个在大语言模型时代包含人工撰写与大语言模型生成文本的、真实的IR模型评估环境？
• RQ2 神经检索模型是否倾向于将大语言模型生成文本排在与之语义相同的文本之前？
• RQ3 这种来源偏差是否在第一阶段检索器与第二阶段重排序器中均存在？
• RQ4 如文本压缩等底层机制如何导致神经模型中的这种偏差？
• RQ5 即插即用的去偏策略能否有效降低神经IR模型中的来源偏差？

主要发现

• 即使语义内容完全相同，神经检索模型仍持续将大语言模型生成文本排在人工撰写文本之前，证实了来源偏差的存在。
• 来源偏差不仅存在于第一阶段检索器中，也存在于第二阶段神经重排序器中，且在后者中往往更为严重。
• 该偏差与神经模型对大语言模型生成文本的更好文本压缩性能相关，因其语义结构更具规律性。
• 理论分析表明，大语言模型生成文本因熵减少与冗余度增加而具有更高的可压缩性，神经模型在编码过程中利用了这一特性。
• 所提出的即插即用去偏约束在多种模型中均有效降低了来源偏差，提升了检索排序的公平性。
• 新基准SciFact+AIGC与NQ320K+AIGC在大语言模型时代评估IR系统方面具有有效性，将公开发布以支持未来研究。