[论文解读] Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs

Faisal Hamman, P. B. R. Dissanayake+3 more|arXiv (Cornell University)|Jul 4, 2024

Data Mining Algorithms and Applications被引用 4

一句话总结

本文提出了一种新颖的一致性度量方法，用于在不重新训练多个模型的情况下，量化微调后表格型大语言模型的预测鲁棒性。通过在嵌入空间中采样局部邻域，并利用伯恩斯坦不等式，该方法提供了概率性保证：高一致性预测在不同微调变体中均保持稳定，其在预测多重性敏感性方面的表现优于置信度分数。

ABSTRACT

Fine-tuning LLMs on tabular classification tasks can lead to the phenomenon of fine-tuning multiplicity where equally well-performing models make conflicting predictions on the same input. Fine-tuning multiplicity can arise due to variations in the training process, e.g., seed, weight initialization, minor changes to training data, etc., raising concerns about the reliability of Tabular LLMs in high-stakes applications such as finance, hiring, education, healthcare. Our work formalizes this unique challenge of fine-tuning multiplicity in Tabular LLMs and proposes a novel measure to quantify the consistency of individual predictions without expensive model retraining. Our measure quantifies a prediction's consistency by analyzing (sampling) the model's local behavior around that input in the embedding space. Interestingly, we show that sampling in the local neighborhood can be leveraged to provide probabilistic guarantees on prediction consistency under a broad class of fine-tuned models, i.e., inputs with sufficiently high local stability (as defined by our measure) also remain consistent across several fine-tuned models with high probability. We perform experiments on multiple real-world datasets to show that our local stability measure preemptively captures consistency under actual multiplicity across several fine-tuned models, outperforming competing measures.

研究动机与目标

• 形式化表格型大语言模型中的微调多重性，即在训练差异下，表现相当的模型产生冲突预测的现象。
• 解决为评估大语言模型中多重性而重新训练多个模型的不切实际性。
• 开发一种计算高效的度量方法，无需重新训练即可量化预测鲁棒性。
• 为微调模型变体之间的预测一致性提供理论上的概率性保证。

提出的方法

• 提出一致性度量 $ S_{k, ho}(x,f) = \frac{1}{k}\sum_{x_i \in N_{x,k}} \left( f(x_i) - |f(x) - f(x_i)| \right) $，用于评估输入在嵌入空间中邻域处的局部模型行为。
• 从以输入 $ x $ 为中心、半径为 $ \sigma $ 的超球面上采样 $ k $ 个点，利用模型的嵌入空间进行邻域探索。
• 利用伯恩斯坦不等式推导概率鲁棒性保证：高一致性意味着预测在不同微调模型中保持稳定的高概率。
• 在真实表格数据集上，通过实证评估一致性与标准多重性度量（如任意性、成对分歧）的对比。
• 将一致性得分与预测概率进行比较，证明其与多重性的相关性更优。
• 在 128-shot、64-shot 和 512-shot 设置下，于 Adult、German Credit 和 Diabetes 数据集上验证该方法。

Figure 1: ( a ) illustrates the process of fine-tuning LLMs for Tabular data using few labeled examples (Hegselmann et al., 2023 ; Dinh et al., 2022 ) . ( b ) demonstrates the concept of finetuning multiplicity. Models fine-tuned from the same pre-trained LLM under slightly varying conditions, such

实验结果

研究问题

• RQ1 尽管性能相近，微调后的表格型大语言模型在多大程度上表现出预测多重性？
• RQ2 单个模型在嵌入空间中的局部行为是否能可靠预测其对微调多重性的敏感性？
• RQ3 所提出的 consistency 度量与预测置信度相比，在识别多重性易感预测方面表现如何？
• RQ4 能否为微调变化下的预测一致性推导出理论上的概率性保证？
• RQ5 在实践中，该一致性度量是否计算可行，且比置信度分数更具信息量？

主要发现

• 一致性度量与多重性度量（如成对分歧）表现出强烈的斯皮尔曼等级相关性（最高达 0.96），显著优于预测概率。
• 在 Adult 数据集中，一致性与任意性的相关性达到 0.80，而预测置信度仅达到 0.67。
• 高预测置信度并不意味着低多重性；部分高置信度预测在不同微调模型中表现出高度不一致。
• 在 Diabetes 数据集中，一致性与预测范围的相关性达到 0.95，表明其与多重性严重程度高度一致。
• 通过伯恩斯坦不等式推导的理论保证确认，高一致性预测在不同微调变体中保持一致的可能性极高。
• 该方法通过仅使用一个模型和对局部邻域的推理，显著减少了昂贵的重新训练需求，实现了多重性评估。

Figure 2: Evaluated multiplicity (assessed on $40$ retrained models) versus our consistency measure (evaluated on one model) for the 128-shot setting on the Adult dataset. The plots demonstrate that high consistency values correspond to low multiplicity across various multiplicity evaluation metrics