[论文解读] Socratic Learning: Augmenting Generative Models to Incorporate Latent Subsets in Training Data

Paroma Varma, Bryan He+5 more|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling参考文献 10被引用 20

一句话总结

Socratic Learning 通过判别模型与生成模型之间的反馈循环，识别训练数据中弱监督源表现不同的潜在子集，通过子集特定的准确率参数增强生成模型。在无真实标签的情况下，该方法在关系抽取任务中相比最先进弱监督方法将误差降低了高达 56.06%。

ABSTRACT

A challenge in training discriminative models like neural networks is obtaining enough labeled training data. Recent approaches use generative models to combine weak supervision sources, like user-defined heuristics or knowledge bases, to label training data. Prior work has explored learning accuracies for these sources even without ground truth labels, but they assume that a single accuracy parameter is sufficient to model the behavior of these sources over the entire training set. In particular, they fail to model latent subsets in the training data in which the supervision sources perform differently than on average. We present Socratic learning, a paradigm that uses feedback from a corresponding discriminative model to automatically identify these subsets and augments the structure of the generative model accordingly. Experimentally, we show that without any ground truth labels, the augmented generative model reduces error by up to 56.06% for a relation extraction task compared to a state-of-the-art weak supervision technique that utilizes generative models.

研究动机与目标

• 为解决现有弱监督方法假设所有数据准确率一致的局限性，该假设在弱监督源在潜在子集上表现不一致时失效。
• 在无真实标签的情况下，自动检测未标注训练数据中弱监督源准确率不同的潜在子集。
• 构建一个自我改进框架，使判别模型提供反馈，以优化生成模型对数据结构和源可靠性理解。
• 使生成模型能够基于数据特征学习多个条件准确率参数，从而提升下游判别模型的标签质量。

提出的方法

• 引入一种差异模型，识别与生成模型和判别模型预测之间分歧最相关的特征，以指示潜在子集的存在。
• 该差异模型利用判别模型表示中的特征，检测标签分歧中的模式，表明弱监督源在某些情况下系统性地更准确或更不准确。
• 该框架通过统计保证自动识别潜在子集的相关特征，所需数据点数量与特征数量的对数成比例。
• 通过基于特定特征存在与否而变化的条件准确率参数，增强生成模型，使每个子集的源准确率得以建模。
• 该方法在完全自动化的流水线中运行，无需用户输入，仅依赖未标注数据和弱监督源。
• 兼容任何分配概率标签的生成模型，使用相同的反馈机制提升文本关系抽取和图像分类等任务的性能。

实验结果

研究问题

• RQ1 能否在无真实标签的情况下，通过检测弱监督源表现不同的潜在子集，改进生成模型？
• RQ2 判别模型如何提供反馈，以识别未标注数据中代表潜在子集的特征？
• RQ3 仅通过模型预测分歧，识别潜在子集正确特征所需的样本复杂度是多少？
• RQ4 通过引入子集特定的准确率参数，能否相比均匀准确率假设，降低下游判别模型的误差？
• RQ5 所提出的反馈循环在关系抽取、情感分析和图像分类等多样化任务中是否有效？

主要发现

• Socratic Learning 在关系抽取任务中相比最先进弱监督方法（假设源准确率一致）将误差降低了高达 56.06%。
• 在多模态图像分类任务中，该方法实现了最高 39.75% 的误差降低，证明了其广泛适用性。
• 差异模型成功识别出与标签分歧相关的特征，例如图像中‘sky’的存在，这些特征可指示潜在子集。
• 该框架以高概率选择正确特征，样本复杂度与特征数量的对数成比例，确保了效率。
• 即使无真实标签，该方法也能通过利用判别模型更优的表征学习能力，提升生成模型性能。
• 该方法完全自动化，无需用户输入，使其在数据稀缺场景中具备实际部署可行性。