[论文解读] PRBoost: Prompt-Based Rule Discovery and Boosting for Interactive Weakly-Supervised Learning

Rongzhi Zhang, Yue Yu+3 more|arXiv (Cornell University)|Mar 18, 2022

Text and Document Classification Technologies被引用 12

一句话总结

PRBoost 是一种新颖的交互式弱监督学习框架，通过基于提示的语言模型迭代发现高质量的标注规则，并采用类似提升（boosting）的集成策略提升模型性能。在四个 NLP 任务上，其性能相比最先进弱监督基线模型最高提升 7.1% 的准确率，显著缩小了与完全监督模型之间的差距。

ABSTRACT

Weakly-supervised learning (WSL) has shown promising results in addressing label scarcity on many NLP tasks, but manually designing a comprehensive, high-quality labeling rule set is tedious and difficult. We study interactive weakly-supervised learning -- the problem of iteratively and automatically discovering novel labeling rules from data to improve the WSL model. Our proposed model, named PRBoost, achieves this goal via iterative prompt-based rule discovery and model boosting. It uses boosting to identify large-error instances and then discovers candidate rules from them by prompting pre-trained LMs with rule templates. The candidate rules are judged by human experts, and the accepted rules are used to generate complementary weak labels and strengthen the current model. Experiments on four tasks show PRBoost outperforms state-of-the-art WSL baselines up to 7.1% and bridges the gaps with fully supervised models. Our Implementation is available at \\url{https://github.com/rz-zhang/PRBoost}.

研究动机与目标

• 解决静态规则驱动的弱监督学习的局限性，即初始标注规则集往往不完整且易出错。
• 通过将标注从实例级别转向规则级别，降低人工标注成本，使单条规则可标注大量实例。
• 通过基于提升的策略聚焦于高误差样本，迭代改进模型性能。
• 利用预训练语言模型结合规则模板，生成表达性强、语义丰富的标注规则。
• 通过持续的规则优化与模型提升，弥合弱监督与完全监督 NLP 模型之间的性能差距。

提出的方法

• 基于提示的规则发现模块通过向预训练语言模型输入难以分类的实例和规则模板，生成候选标注规则。
• 采用迭代提升策略，根据模型误差重新加权训练样本，使规则发现聚焦于高误差样本，从而提升模型泛化能力。
• 引入人机协同评估阶段，专家通过二元判断接受或拒绝候选规则，确保高质量规则的整合。
• 将通过审核的规则用于生成新的弱标签，与已有弱标签结合，训练弱模型的集成模型。
• 应用自训练策略以利用未标注数据，提升泛化能力，尤其针对新规则未覆盖的样本。
• 集成模型通过迭代方式持续更新，每轮通过互补的规则集合优化预测结果并扩展规则覆盖范围。

实验结果

研究问题

• RQ1 基于提示的规则发现方法，从难分类样本中生成的规则是否比 n-gram 或基于模式的方法更具表达性和有效性？
• RQ2 通过提升策略实现的迭代规则发现，相比静态规则集，在弱监督学习中能否显著提升模型性能？
• RQ3 在标注效率与模型准确率方面，规则级别的标注在多大程度上优于实例级别的标注？
• RQ4 基于提示的规则生成与人工评估相结合，是否能产生更高质量的弱标签并提升模型泛化能力？
• RQ5 结合自适应规则发现的迭代提升策略，如何减少错误传播并提升模型鲁棒性？

主要发现

• 在四个 NLP 任务（包括关系抽取、本体分类、主题分类和化学-蛋白质相互作用预测）上，PRBoost 相比最先进弱监督基线模型，准确率最高提升 7.1%。
• 在 AG News 数据集上，模型准确率从 86.7% 提升至 88.9%（经 10 轮迭代），表明通过迭代规则优化可实现持续的性能提升。
• 规则覆盖度从 56.4% 提升至 77.8%，规则准确率从 83.1% 提升至 85.6%，表明新规则更具全面性与准确性。
• 消融实验表明，与非迭代规则发现相比，采用迭代提升策略的规则发现可带来 1.2% 的性能增益。
• 移除自训练策略导致性能下降 0.6%，表明自训练有助于提升未覆盖样本的泛化能力。
• ‘w/o rule’ 消融实验显示性能下降 1.5%，证明新发现的互补规则对于性能提升至关重要，而不仅仅是模型集成本身的作用。