[论文解读] Snorkel DryBell: A Case Study in Deploying Weak Supervision at Industrial Scale

Stephen H. Bach, Daniel Rodríguez+11 more|arXiv (Cornell University)|Dec 2, 2018

Data Quality and Management参考文献 35被引用 27

一句话总结

Snorkel DryBell 是一个可扩展的弱监督系统，通过利用多样化的组织知识资源（如启发式规则、模型和知识库）作为噪声标签，训练高质量的机器学习分类器，而无需大量人工标注。其性能可与使用 80,000 个手工标注样本训练的模型相媲美，通过将不可服务的知识转化为可部署模型，平均实现 52% 的性能提升，并在数十分钟内扩展至数百万数据点。

ABSTRACT

Labeling training data is one of the most costly bottlenecks in developing machine learning-based applications. We present a first-of-its-kind study showing how existing knowledge resources from across an organization can be used as weak supervision in order to bring development time and cost down by an order of magnitude, and introduce Snorkel DryBell, a new weak supervision management system for this setting. Snorkel DryBell builds on the Snorkel framework, extending it in three critical aspects: flexible, template-based ingestion of diverse organizational knowledge, cross-feature production serving, and scalable, sampling-free execution. On three classification tasks at Google, we find that Snorkel DryBell creates classifiers of comparable quality to ones trained with tens of thousands of hand-labeled examples, converts non-servable organizational resources to servable models for an average 52% performance improvement, and executes over millions of data points in tens of minutes.

研究动机与目标

• 解决工业机器学习应用中人工标注训练数据成本高、周期长的问题。
• 通过整合多样化的现有组织知识源作为标注函数，实现弱监督的快速、可扩展部署。
• 弥合不可服务的内部知识（如批处理模型、启发式规则）与实时、可生产部署模型之间的差距。
• 构建一个支持灵活模板化标注函数摄入以及可扩展、无需采样的推理机制的系统，以满足工业工作负载需求。
• 证明弱监督可在真实生产环境中实现与基于数万个手工标注样本训练的模型相当的性能。

提出的方法

• 系统采用灵活的模板化摄入层，将多样化的组织知识源（如启发式规则、模型和知识库）整合为标注函数。
• 采用生成式模型，通过建模多个标注函数的输出（包括可能弃权或产生噪声预测的函数）来估计真实标签分布。
• 通过将非服务化特征（如批处理统计量、计算成本高的模型）的知识迁移至可服务的实时特征（如流信号），实现跨特征的生产级服务。
• 通过在生成式模型中使用闭式推理，实现无需采样的执行方式，从而在不依赖迭代采样的情况下高效扩展至数百万数据点。
• 通过允许领域专家独立且迭代地定义标注函数，无需低层级系统调优，实现领域专家与数据工程师的解耦。
• 支持使用弱监督进行端到端的分类器训练与部署，自动处理标签冲突并估计不确定性。

实验结果

研究问题

• RQ1 使用多样化的现有组织知识源进行弱监督，能否实现与基于数万个手工标注样本训练的模型相当的分类器性能？
• RQ2 通过弱监督，不可服务的组织知识（如批处理模型、启发式规则）在多大程度上可被迁移为可生产、实时的模型？
• RQ3 Snorkel DryBell 在处理包含数百万数据点的工业工作负载时，如何在保持低延迟和高准确率的前提下实现可扩展性？
• RQ4 与仅使用少量手工标注开发集相比，集成多个弱监督源能带来多大的性能提升？
• RQ5 弱监督系统是否可以在不需对现有数据流水线进行大规模重构的情况下，在生产环境中实现规模化部署？

主要发现

• Snorkel DryBell 训练的分类器性能等同于使用 80,000 个手工标注样本训练的模型，使标注成本降低一个数量级。
• 在谷歌的三个真实世界分类任务中，与仅使用约 15,000 个手工标注样本训练的分类器相比，系统在 F1 分数上实现了平均 11.5% 的相对提升。
• 当将不可服务的组织知识（如批处理模型、启发式规则）转化为可服务的生产就绪模型时，系统实现了平均 52% 的性能提升。
• 该框架在 30 分钟内完成对超过 100 万个数据点的推理，展示了极高的可扩展性和低延迟执行能力。
• 该系统成功实现了领域专家与数据工程师的解耦，使标注函数能够快速、迭代式地开发，且无性能瓶颈。
• Snorkel DryBell 中的生成式模型有效处理了标签冲突与不确定性，即使在存在噪声和相关性标注函数的情况下，也能实现稳健推理。