[论文解读] Universalizing Weak Supervision

Changho Shin, Winfred Li+3 more|arXiv (Cornell University)|Dec 7, 2021

Traditional Chinese Medicine Studies被引用 7

一句话总结

该论文提出了一种通用的弱监督框架，通过将标签嵌入布尔空间或欧几里得空间，并使用矩方法估计器，实现对任意标签类型（二值、回归、排序、双曲空间及度量空间标签）的一致且高效的伪标签合成。该框架在多种任务上实现了最先进性能，包括排序学习和回归任务，仅使用较少的真实标签即超越了完全监督基线模型。

ABSTRACT

Weak supervision (WS) frameworks are a popular way to bypass hand-labeling large datasets for training data-hungry models. These approaches synthesize multiple noisy but cheaply-acquired estimates of labels into a set of high-quality pseudolabels for downstream training. However, the synthesis technique is specific to a particular kind of label, such as binary labels or sequences, and each new label type requires manually designing a new synthesis algorithm. Instead, we propose a universal technique that enables weak supervision over any label type while still offering desirable properties, including practical flexibility, computational efficiency, and theoretical guarantees. We apply this technique to important problems previously not tackled by WS frameworks including learning to rank, regression, and learning in hyperbolic space. Theoretically, our synthesis approach produces a consistent estimators for learning some challenging but important generalizations of the exponential family model. Experimentally, we validate our framework and show improvement over baselines in diverse settings including real-world learning-to-rank and regression problems along with learning on hyperbolic manifolds.

研究动机与目标

• 克服现有弱监督框架仅限于特定标签类型（如二值或序列标签）的局限性。
• 开发一种统一方法，实现对任意度量空间标签（包括回归、排序及双曲嵌入）的弱监督。
• 在多种标签类型下保持计算效率、理论一致性与实际灵活性。
• 在以往未解决的问题（如排序学习与双曲空间测地线回归）上验证框架的有效性。
• 表明更多样化、高质量的标注函数可提升伪标签质量与下游模型性能，即使在真实标签极少的情况下亦可超越完全监督模型。

提出的方法

• 使用指数族分布对任意度量空间 $\mathcal{Y}$ 上的弱标注过程进行建模。
• 将 $\mathcal{Y}$ 中的标签嵌入布尔超立方体 $\{\pm1\}^d$ 或欧几里得空间 $\mathbb{R}^d$，以实现可计算性。
• 通过矩方法求解嵌入空间中的标量线性或二次方程，学习标签模型。
• 利用有限样本界，建立广义指数族模型下估计器的一致性。
• 通过结合使用估计模型参数的噪声标注函数，合成高质量伪标签。
• 在合成的伪标签上训练下游模型，实现无需人工标注的端到端学习。

实验结果

研究问题

• RQ1 弱监督能否超越二值与结构化标签，推广至任意度量空间标签（包括回归与排序）？
• RQ2 基于嵌入与矩方法估计的通用标签模型，是否在多种标签类型下保持理论一致性与计算效率？
• RQ3 当仅提供少量真实标签时，所提框架能否超越完全监督学习？
• RQ4 在不同标签类型下，性能如何随标注函数数量与质量变化？
• RQ5 该框架能否处理复杂标签空间（如双曲流形与随机图诱导的度量空间）？

主要发现

• 在两个真实世界的排序学习任务中，该框架在仅使用5%真实标签的情况下，性能优于完全监督学习，甚至超越了使用18个标注函数的适配版Snorkel框架。
• 在回归任务中，当使用6个或更多标注函数时，该框架达到与完全监督基线相当的性能，均方误差（MSE）与之相近。
• 在双曲空间中的测地线回归任务中，该框架仅使用3个标注函数即超越了完全监督学习。
• 在具有随机图诱导距离的合成度量空间设置中，该方法比多数投票法更好地处理了标注函数异质性，降低了估计误差。
• 在语义依赖解析任务中，该框架优于强基线模型，证明了其在结构化预测中的有效性。
• 在MSLR-WEB10K数据集上，该框架仅依赖无监督信息检索方法（如BM25）生成的弱监督信号，即超越了使用10%真实标签的训练性能。