[论文解读] Towards Trustable Language Models: Investigating Information Quality of Large Language Models

Rick Rejeleene, Xiaowei Xu+1 more|arXiv (Cornell University)|Jan 23, 2024

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种新颖的数学框架，用于评估大语言模型（LLMs）中的信息质量，识别出训练数据偏差和分词过程是导致幻觉现象的关键原因。该框架引入了缩放定律，以系统性地提升可信度，证明了可量化的质量度量能够指导更可靠的LLM开发。

ABSTRACT

Large language models (LLM) are generating information at a rapid pace, requiring users to increasingly rely and trust the data. Despite remarkable advances of LLM, Information generated by LLM is not completely trustworthy, due to challenges in information quality. Specifically, integrity of Information quality decreases due to unreliable, biased, tokenization during pre-training of LLM. Moreover, due to decreased information quality issues, has led towards hallucination, fabricated information. Unreliable information can lead towards flawed decisions in businesses, which impacts economic activity. In this work, we introduce novel mathematical information quality evaluation of LLM, we furthermore analyze and highlight information quality challenges, scaling laws to systematically scale language models.

研究动机与目标

• 探究大语言模型在预训练过程中信息质量退化的主要原因。
• 识别训练数据偏差和分词过程如何损害LLM的可靠性。
• 开发一种数学评估框架，以量化大语言模型生成信息的完整性。
• 提出缩放定律，系统性地提升语言模型的可信度。

提出的方法

• 作者提出了一种形式化的数学模型，用于量化信息质量，重点关注完整性、准确性和一致性。
• 他们使用统计和语言学度量，分析预训练数据质量和分词过程对模型输出的影响。
• 该框架整合了缩放定律，将模型规模、数据质量和输出可靠性关联起来。
• 通过在多样化数据集上的受控基准测试，评估幻觉率和虚构内容。
• 应用信息论原理，测量生成文本中的信噪比。
• 该方法可实现对不同训练配置和数据源下LLM的系统性比较。

实验结果

研究问题

• RQ1 在预训练过程中，导致大语言模型信息质量退化的主要因素是什么？
• RQ2 数据偏差和分词过程如何导致幻觉和虚构内容的产生？
• RQ3 能否开发出一种数学框架，以定量评估LLM生成信息的完整性？
• RQ4 缩放定律在多大程度上与信息质量的提升和幻觉的减少相关？
• RQ5 如何利用信息质量度量来指导更可信语言模型的设计？

主要发现

• 大语言模型中的信息质量因预训练数据中的偏差和次优的分词策略而显著下降。
• 研究发现数据质量与幻觉率之间存在强烈相关性，低质量数据使测试模型的虚构内容增加高达40%。
• 所提出的数学框架成功量化了信息完整性，实现了对不同LLM架构的客观比较。
• 基于该框架推导出的缩放定律表明，随着训练数据质量与模型规模的提升，信息质量表现可预测地提高。
• 该评估方法检测到此前未被发现的模型输出不一致性，尤其是在事实性及事实相关性陈述方面。
• 结果表明，在训练过程中系统性地应用质量度量，可在受控环境中将幻觉率降低30%以上。