[论文解读] Out-of-Distribution Detection and Selective Generation for Conditional Language Models

Jie Ren, Jiaming Luo+5 more|arXiv (Cornell University)|Sep 30, 2022

Topic Modeling被引用 12

一句话总结

本文提出了一种轻量级、高精度的分布外（OOD）检测方法，用于条件语言模型（CLMs），利用模型嵌入实现，显著优于基于困惑度的方法。该方法通过在分布外输入上主动避免生成低质量输出，实现选择性生成，从而提升摘要和翻译任务在实际部署中的安全性和可靠性。

ABSTRACT

Machine learning algorithms typically assume independent and identically distributed samples in training and at test time. Much work has shown that high-performing ML classifiers can degrade significantly and provide overly-confident, wrong classification predictions, particularly for out-of-distribution (OOD) inputs. Conditional language models (CLMs) are predominantly trained to classify the next token in an output sequence, and may suffer even worse degradation on OOD inputs as the prediction is done auto-regressively over many steps. Furthermore, the space of potential low-quality outputs is larger as arbitrary text can be generated and it is important to know when to trust the generated output. We present a highly accurate and lightweight OOD detection method for CLMs, and demonstrate its effectiveness on abstractive summarization and translation. We also show how our method can be used under the common and realistic setting of distribution shift for selective generation (analogous to selective prediction for classification) of high-quality outputs, while automatically abstaining from low-quality ones, enabling safer deployment of generative language models.

研究动机与目标

• 为解决条件语言模型（CLMs）在分布外（OOD）输入下不可靠行为的关键问题，其中自回归生成会放大错误并产生低质量输出。
• 开发一种轻量级、高精度的OOD检测方法，无需额外模型，仅利用CLM的内部表征（嵌入）。
• 实现选择性生成——在分布外输入上主动避免生成，同时在分布内或近分布输入上生成高质量输出，从而提升实际应用中的安全性和可靠性。
• 建立一个稳健的OOD检测与选择性生成评估框架，包括摘要质量的人工评估。

提出的方法

• 提出一种新颖的OOD评分方法，基于输入序列和输出序列嵌入（输入RMD与输出RMD）之间的余弦相似度，这些嵌入源自CLM的隐藏状态。
• 使用输入和输出序列表示的L2归一化表示的均值，作为分布差异的代理，形成RMD（表征均值距离）评分。
• 引入一种混合检测策略，结合RMD评分与困惑度，以提升在分布偏移情况下的OOD检测性能。
• 采用选择性生成机制，当OOD评分超过学习到的阈值时，模型主动避免生成，类似于分类任务中的选择性预测。
• 在摘要生成（XSum）和机器翻译（WMT）任务上训练并评估该方法，使用人工标注的质量评分验证性能。
• 使用分布内数据校准OOD阈值，以平衡主动回避率与输出质量，确保安全部署。

实验结果

研究问题

• RQ1 困惑度能否作为条件语言模型中检测分布外输入的可靠信号？
• RQ2 仅基于模型嵌入的轻量级OOD检测方法相较于现有基线方法效果如何？
• RQ3 在分布偏移情况下，结合困惑度与基于嵌入的OOD评分能否提升检测性能？
• RQ4 在实际场景中，选择性生成（在分布外输入上主动避免生成）在多大程度上能提升生成输出的质量？
• RQ5 在摘要任务中，人工标注的质量评分与自动化OOD评分及质量评分的相关性如何？

主要发现

• 困惑度作为CLMs的OOD检测信号表现不佳，因为在分布内与分布外分布之间存在显著重叠，导致高误报率。
• 所提出的基于RMD的OOD评分（使用输入和输出嵌入）在摘要和翻译任务中均显著优于困惑度及其他基线方法，能更有效地检测OOD样本。
• 将RMD评分与困惑度结合可提升选择性生成性能，尤其在分布偏移情况下，能在减少低质量生成的同时提升高质量输出的比例。
• 该方法在OOD检测中实现高精度，且计算开销可忽略不计，仅需利用CLM的内部表征。
• 人工评估显示，低RMD评分与高质量摘要之间存在强相关性，验证了该方法识别可信生成的能力。
• 选择性生成策略能有效减少在分布外输入上生成事实错误或无意义输出的情况，显著提升模型的安全性与可靠性。