[论文解读] Training Complex Models with Multi-Task Weak Supervision

Alexander Ratner, Braden Hancock+4 more|arXiv (Cornell University)|Oct 5, 2018

Machine Learning and Data Classification参考文献 30被引用 6

一句话总结

该论文提出 MeTaL，一种多任务弱监督框架，将多样、嘈杂且相关的标注源建模为子任务，以在无需标注数据的情况下提升训练数据质量。通过在源之间的一致性与依赖关系上求解矩阵补全问题，MeTaL 估计源准确率并提升最终模型性能，在三个细粒度分类任务上，相比监督学习平均提升 20.2 个百分点，相比先前的弱监督方法提升 4.1 个百分点。

ABSTRACT

As machine learning models continue to increase in complexity, collecting large hand-labeled training sets has become one of the biggest roadblocks in practice. Instead, weaker forms of supervision that provide noisier but cheaper labels are often used. However, these weak supervision sources have diverse and unknown accuracies, may output correlated labels, and may label different tasks or apply at different levels of granularity. We propose a framework for integrating and modeling such weak supervision sources by viewing them as labeling different related sub-tasks of a problem, which we refer to as the multi-task weak supervision setting. We show that by solving a matrix completion-style problem, we can recover the accuracies of these multi-task sources given their dependency structure, but without any labeled data, leading to higher-quality supervision for training an end model. Theoretically, we show that the generalization error of models trained with this approach improves with the number of unlabeled data points, and characterize the scaling with respect to the task and dependency structures. On three fine-grained classification problems, we show that our approach leads to average gains of 20.2 points in accuracy over a traditional supervised approach, 6.8 points over a majority vote baseline, and 4.1 points over a previously proposed weak supervision method that models tasks separately.

研究动机与目标

• 解决在真实机器学习应用中整合准确率未知、变化不定、粒度多样的弱监督源的挑战。
• 开发一种可扩展的方法，通过将源建模为相互关联的子任务，无需标注数据即可估计源准确率。
• 通过利用未标注数据和弱监督源之间的依赖结构，提升最终模型的泛化能力。
• 为泛化误差随未标注数据量和任务结构的变化提供理论保证。
• 通过随机梯度下降（SGD）实现高效训练，克服基于 Gibbs 采样的方法存在的计算瓶颈。

提出的方法

• 将每个弱监督源视为标注一个不同但相关的子任务，形成多任务弱监督设置。
• 使用源图 Gsource 建模源之间的依赖结构，通过任务图 Gtask 建模任务关系。
• 将问题表述为在源之间观察到的标签一致性和不一致性上的矩阵补全任务。
• 利用强矩阵集中度界分析并确保矩阵补全算法的收敛性。
• 应用随机梯度下降（SGD）高效求解矩阵补全问题，使训练速度比 Gibbs 采样快 100 倍以上。
• 将估计的源准确率与标签聚合结合，生成用于最终模型的概率性训练标签。

实验结果

研究问题

• RQ1 我们能否在不使用任何标注数据的情况下，估计具有不同粒度和相关性的多个弱监督源的未知准确率？
• RQ2 弱监督源之间的依赖结构如何影响估计源准确率的可识别性与准确性？
• RQ3 模型泛化误差的理论缩放特性如何随未标注数据点数量和任务依赖结构的变化而变化？
• RQ4 与单任务或独立源建模相比，联合建模弱监督源的多任务方法如何提升最终模型性能？
• RQ5 我们能否通过可扩展的、基于 SGD 的优化方法实现高性能模型训练，而非计算成本高昂的 Gibbs 采样？

主要发现

• MeTaL 在三个细粒度分类任务上，相比传统监督学习平均提升 20.2 个百分点的准确率。
• 相比多数投票基线方法提升 6.8 个百分点，相比先前独立建模任务的弱监督方法提升 4.1 个百分点。
• MeTaL 提供类似编译器的可识别性检查，可检测源图中不可识别的依赖结构，防止不可靠的准确率估计。
• 理论样本复杂度界表明，随着未标注数据增加，泛化性能得到改善，即使源数量较少亦成立——比先前的界更符合实际场景。
• MeTaL 中基于 SGD 的训练速度比基于 Gibbs 采样的替代方法快 100 倍以上，支持在 PyTorch 等深度学习框架中实际部署。
• 消融研究证实，单极校正和联合多任务建模分别在数据编程基线上贡献 2.8 和 1.3 个百分点的准确率提升。