[论文解读] Predicting on the Edge: Identifying Where a Larger Model Does Better

Taman Narayan, Heinrich Jiang+2 more|arXiv (Cornell University)|Feb 15, 2022

Advanced Data Storage Technologies被引用 4

一句话总结

本文提出利用小型模型的预测不确定性来识别大型模型可能带来改进的样本，从而实现仅在必要时才调用大型模型的切换机制。核心发现是：大型模型在小型模型最不确定的样本上提升最大；而切换器模型在性能和效率上均优于单独使用大型模型。

ABSTRACT

Much effort has been devoted to making large and more accurate models, but relatively little has been put into understanding which examples are benefiting from the added complexity. In this paper, we demonstrate and analyze the surprisingly tight link between a model's predictive uncertainty on individual examples and the likelihood that larger models will improve prediction on them. Through extensive numerical studies on the T5 encoder-decoder architecture, we show that large models have the largest improvement on examples where the small model is most uncertain. On more certain examples, even those where the small model is not particularly accurate, large models are often unable to improve at all, and can even perform worse than the smaller model. Based on these findings, we show that a switcher model which defers examples to a larger model when a small model is uncertain can achieve striking improvements in performance and resource usage. We also explore committee-based uncertainty metrics that can be more effective but less practical.

研究动机与目标

• 理解大型模型在单个样本上相较于小型模型为何以及在何时会表现更优。
• 开发一种实用方法，无需标注数据即可识别大型模型更可能优于小型模型的样本。
• 探索不确定性与模型分歧如何指导利用小型与大型模型组合实现高效、自适应的推理。
• 评估基于委员会的不确定性或模型微调过程中的变动（churn）是否优于单个模型的不确定性，以预测大型模型的性能提升。

提出的方法

• 训练一个小型模型，并使用其预测不确定性（例如，Softmax输出的熵）作为代理指标，识别出可能从大型模型中受益的样本。
• 实现一个切换器模型，仅当小型模型的不确定性超过阈值时，才将预测任务转交给大型模型。
• 使用多个微调后的小型模型之间的逐样本分歧（churn）作为替代不确定性代理，以评估模型的一致性及改进潜力。
• 比较个体模型不确定性、委员会不确定性（多个小型模型不确定性平均值）以及churn（多次微调后预测结果的方差）在预测大型模型性能提升方面的有效性。
• 在多个数据集和模型对上，评估切换器模型的性能与计算效率，并与始终使用大型模型的方案进行对比。
• 利用T5编码器-解码器架构在多样化自然语言处理任务上，分析不确定性、模型分歧与性能提升之间的关系。

实验结果

研究问题

• RQ1 在哪些样本上，大型模型相较于小型模型表现出最大的性能提升？
• RQ2 小型模型的不确定性是否能可靠预测大型模型将优于其自身的位置？
• RQ3 在何种条件下，基于小型模型不确定性进行决策并仅在必要时调用大型模型的切换器模型，会优于单独使用大型模型？
• RQ4 在多次微调后的小型模型之间，模型分歧（churn）与个体不确定性相比，在预测大型模型改进方面表现如何？
• RQ5 为何在小型模型高度确定的样本上，大型模型有时反而表现更差？

主要发现

• 大型模型在小型模型最不确定的样本上表现出最大的性能提升，而在小型模型高度自信的样本上则几乎没有或完全没有提升。
• 在相当大比例的样本中——尤其是小型模型确定的样本中——大型模型未能带来改进，甚至可能表现不如小型模型。
• 仅在小型模型不确定时才调用大型模型的切换器模型，可实现显著的计算节省，并且在两模型性能相近时，其表现甚至优于单独使用大型模型。
• 逐样本的重训练变动（即多次微调后小型模型预测结果的分歧）是预测大型模型改进的更强指标，优于个体模型不确定性或委员会不确定性。
• 尽管理论上委员会不确定性估计器更强，但在实践中效果较差，因为它倾向于识别出大型模型本已容易处理的样本，从而限制了切换器模型超越大型模型的能力。
• 一个反直觉的现象是：尽管对小型模型而言高度不确定的样本被认为是‘困难’的，但对大型模型而言这些样本反而‘更易改进’，其原因在于不确定性可能源于模型容量不足，而非样本本身的真实难度。