[论文解读] Train and You'll Miss It: Interactive Model Iteration with Weak Supervision and Pre-Trained Embeddings

Mayee F. Chen, Daniel Y. Fu+6 more|ArXiv.org|Jun 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 69被引用 5

一句话总结

本文提出 Epoxy，一种通过结合弱监督与预训练嵌入，将标注投票扩展至嵌入空间中邻近数据点的方法，实现了快速、交互式的机器学习。在不训练深层网络的情况下，Epoxy 的性能与最先进弱监督模型相差仅 0.7 分，且训练时间不足 0.5 秒，相比标准弱监督方法提升 4.1 分，相比无微调的迁移学习方法提升 12.8 分。

ABSTRACT

Our goal is to enable machine learning systems to be trained interactively. This requires models that perform well and train quickly, without large amounts of hand-labeled data. We take a step forward in this direction by borrowing from weak supervision (WS), wherein models can be trained with noisy sources of signal instead of hand-labeled data. But WS relies on training downstream deep networks to extrapolate to unseen data points, which can take hours or days. Pre-trained embeddings can remove this requirement. We do not use the embeddings as features as in transfer learning (TL), which requires fine-tuning for high performance, but instead use them to define a distance function on the data and extend WS source votes to nearby points. Theoretically, we provide a series of results studying how performance scales with changes in source coverage, source accuracy, and the Lipschitzness of label distributions in the embedding space, and compare this rate to standard WS without extension and TL without fine-tuning. On six benchmark NLP and video tasks, our method outperforms WS without extension by 4.1 points, TL without fine-tuning by 12.8 points, and traditionally-supervised deep networks by 13.1 points, and comes within 0.7 points of state-of-the-art weakly-supervised deep networks-all while training in less than half a second.

研究动机与目标

• 通过将训练时间缩短至数秒，实现在不依赖大量人工标注数据的前提下，实现机器学习中的交互式模型迭代。
• 解决弱监督（WS）在泛化到未见数据点时因覆盖度低和泛化能力差而带来的局限性。
• 克服弱监督流程中下游深度网络训练成本过高的问题，而该问题目前阻碍了交互式训练时序。
• 不将预训练嵌入作为特征使用，而是将其作为距离度量，以局部方式扩展弱监督投票，从而提升覆盖度与准确性。
• 在无需任何微调或模型重训练的前提下，实现与最先进弱监督深度网络相当的高性能。

提出的方法

• 利用预训练嵌入定义数据点之间的局部距离函数，实现弱监督投票向邻近实例的平滑扩展。
• 将弱标注函数的投票扩展至嵌入空间中学习到的半径范围内的点，假设邻近点具有相似标签。
• 通过概率 Lipschitz 性度量建模标签分布的平滑性，理论上约束泛化误差与收敛速率。
• 为每个标注函数调节阈值参数，以在投票扩展中平衡覆盖度与准确性，避免过度泛化。
• 使用预训练模型（如 BERT、ResNet）一次性预处理所有数据，计算嵌入与成对距离，从而实现快速推理。
• 直接将扩展后的概率标签用作模型预测，避免下游训练的需要。

实验结果

研究问题

• RQ1 通过预训练嵌入扩展弱监督投票，对模型性能与泛化误差有何影响？
• RQ2 标签分布平滑性（Lipschitz 性）与投票扩展带来的性能提升之间存在何种理论关系？
• RQ3 Epoxy 的性能与无扩展的标准弱监督方法以及无微调的迁移学习方法相比如何？
• RQ4 在何种条件下 Epoxy 优于无微调的迁移学习方法？原因是什么？
• RQ5 预训练嵌入在多大程度上可实现高质量的弱监督，而无需微调或模型重训练？

主要发现

• 在六个基准任务上，Epoxy 平均比无扩展的标准弱监督方法高出 4.1 分。
• Epoxy 平均比无微调的迁移学习方法高出 12.8 分，表明投票扩展带来了显著性能增益。
• 尽管无需训练或微调，Epoxy 的性能与最先进弱监督深度网络相差仅 0.7 分。
• Epoxy 每轮训练时间不足 0.5 秒，支持交互式模型开发周期。
• 性能增益与预训练嵌入与微调后嵌入之间的最小预池化相似性高度相关，表明微调过程中嵌入的偏移会降低可迁移性。
• 消融研究显示，若对所有标注函数使用固定阈值，性能会下降，证实了按函数调节阈值的优势。