[论文解读] Socratic Learning: Correcting Misspecified Generative Models using Discriminative Models

Paroma Varma, Bryan He+5 more|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling被引用 7

一句话总结

Socratic Learning 提出了一种方法，利用判别模型的反馈来检测弱监督源表现不一致的潜在数据子集，并动态增强生成模型以纠正错误指定。在无需任何真实标签的情况下，该方法在关系抽取任务中相比最先进弱监督技术将误差降低了高达 56.06%。

ABSTRACT

A challenge in training discriminative models like neural networks is obtaining enough labeled training data. Recent approaches use generative models to combine weak supervision sources, like user-defined heuristics or knowledge bases, to label training data. Prior work has explored learning accuracies for these sources even without ground truth labels, but they assume that a single accuracy parameter is sufficient to model the behavior of these sources over the entire training set. In particular, they fail to model latent subsets in the training data in which the supervision sources perform differently than on average. We present Socratic learning, a paradigm that uses feedback from a corresponding discriminative model to automatically identify these subsets and augments the structure of the generative model accordingly. Experimentally, we show that without any ground truth labels, the augmented generative model reduces error by up to 56.06% for a relation extraction task compared to a state-of-the-art weak supervision technique that utilizes generative models.

研究动机与目标

• 为了解决现有弱监督方法假设所有数据上准确率一致的局限性，这些方法未能考虑监督源表现不同的潜在子集。
• 开发一种框架，自动利用判别模型的反馈识别此类潜在子集。
• 基于这些子集中的反馈，动态增强生成模型的结构，以纠正这些子集中的错误指定监督源。
• 在不依赖任何真实标签的前提下，提升弱监督学习的准确性。
• 通过仅使用启发式规则和知识库信号，在真实世界的关系抽取任务中展示显著的误差降低。

提出的方法

• 该方法引入一个反馈循环，其中判别模型评估生成模型的预测结果，以检测监督性能不一致的数据子集。
• 它识别训练数据中的潜在聚类，其中监督源的准确率偏离平均值，表明可能存在错误指定。
• 随后，通过增加额外结构来增强生成模型，以分别建模这些不同的子集，从而改善标签估计。
• 该方法使用概率建模联合推断潜在子集结构，并基于判别模型的反馈优化生成模型的参数。
• 通过利用判别模型的置信度和预测模式作为子集发现的信号，避免对真实标签的依赖。
• 该框架实现了生成模型监督集成的迭代优化，能够适应数据异质性。

实验结果

研究问题

• RQ1 能否利用判别模型的反馈检测监督源表现不同于平均值的潜在数据子集？
• RQ2 能否基于此类反馈动态增强生成模型结构，从而在无真实标签的情况下提升标签准确性？
• RQ3 与最先进方法相比，该方法在弱监督关系抽取中能实现多大程度的误差降低？
• RQ4 该方法是否能有效纠正不同数据分布下错误指定的监督源？

主要发现

• Socratic Learning 框架在关系抽取任务中相比使用生成模型的最先进弱监督技术，将误差降低了高达 56.06%。
• 该方法即使在无真实标签的情况下，也能成功识别监督源准确率偏离平均值的潜在数据子集。
• 通过分别建模这些子集，增强后的生成模型显著提升了性能，从而改善了整体标签质量。
• 该方法在仅使用启发式规则和知识库作为监督信号的真实世界场景中，表现出良好的鲁棒性和有效性。