[论文解读] Validating Large Language Models with ReLM

Michael Kuchnik, Virginia Smith+1 more|arXiv (Cornell University)|Nov 21, 2022

Natural Language Processing Techniques被引用 8

一句话总结

ReLM 是一种新颖的框架，通过使用正则表达式查询结构化语言模式，实现对大语言模型（LLMs）的系统性验证。通过将正则表达式模式编译为 LLM 可执行的表示形式，ReLM 实现了比临时查询方法高 15 倍的效率和 2.5 倍更好的数据效率，为检测记忆性、偏见、毒性及知识准确性提供了可扩展、通用的基线方法。

ABSTRACT

Although large language models (LLMs) have been touted for their ability to generate natural-sounding text, there are growing concerns around possible negative effects of LLMs such as data memorization, bias, and inappropriate language. Unfortunately, the complexity and generation capacities of LLMs make validating (and correcting) such concerns difficult. In this work, we introduce ReLM, a system for validating and querying LLMs using standard regular expressions. ReLM formalizes and enables a broad range of language model evaluations, reducing complex evaluation rules to simple regular expression queries. Our results exploring queries surrounding memorization, gender bias, toxicity, and language understanding show that ReLM achieves up to 15x higher system efficiency, 2.5x data efficiency, and increased statistical and prompt-tuning coverage compared to state-of-the-art ad-hoc queries. ReLM offers a competitive and general baseline for the increasingly important problem of LLM validation.

研究动机与目标

• 为解决缺乏系统性、可扩展且可维护的方法来验证 LLM 行为（如记忆性、偏见和毒性）的问题。
• 减少对难以扩展和维护的临时、代码密集型测试框架的依赖。
• 通过将测试逻辑形式化为正则表达式，实现对 LLM 的精确、结构化评估。
• 在无需模型微调或复杂提示工程的情况下，提升 LLM 验证的效率和覆盖范围。
• 提供一种通用的、基于查询的 LLM 评估接口，支持多种语言模式。

提出的方法

• ReLM 将用户提供的正则表达式编译为目标字符串空间的确定性有限自动机（DFA）表示形式。
• 该 DFA 被编译为与模型特定执行图集成的图结构，与 LLM 的自回归解码过程相结合。
• 在推理过程中，ReLM 强制生成仅输出匹配正则表达式模式的字符串，避免无效或意外输出。
• 该系统支持基于生成字符串可能性的评分与排序，从而实现对正确性和偏好的评估。
• 通过直接在正则表达式查询中注入任务约束，ReLM 实现零样本评估，无需微调即可提升准确性。
• 通过将不同任务映射到正则表达式模式，支持多种评估任务：例如，日期格式用于知识评估，词共现模式用于偏见检测，有毒词汇模式用于毒性识别。

实验结果

研究问题

• RQ1 正则表达式能否被用于系统性且高效地查询大语言模型，以识别特定语言行为？
• RQ2 与临时查询方法相比，ReLM 在系统效率、数据效率和覆盖范围方面表现如何？
• RQ3 基于正则表达式的查询在多大程度上能提升 LLM 评估任务的零样本性能？
• RQ4 ReLM 能否以更高的精度和更低的假阳性和假阴性率检测记忆性、偏见和毒性，优于现有方法？
• RQ5 ReLM 的查询接口在知识、偏见和毒性等多样化评估任务中，扩展性如何？

主要发现

• 与最先进的临时查询方法相比，ReLM 在评估 LLM 时实现了高达 15 倍的系统效率提升。
• 数据效率最高提升 2.5 倍，显著减少了完成等效评估任务所需的推理 token 数量。
• ReLM 提升了统计和提示微调的覆盖范围，使 LLM 行为的评估更加全面。
• 在零样本 LAMBADA 评估中，通过基于正则表达式的查询约束，ReLM 相比基线提示将准确率最高提升了 30 分。
• 对于乔治·华盛顿的出生日期，ReLM 在 GPT-2XL 中将正确日期识别为前 10 名预测结果，而模型在标准封闭选择设置下未能成功识别。
• 与自由回答或多项选择格式相比，ReLM 通过正则表达式强制结构化输出，显著降低了假阳性与假阴性率。