[论文解读] Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming

Cheng-Yu Hsieh, Jieyu Zhang+1 more|arXiv (Cornell University)|Mar 2, 2022

Educational Games and Gamification被引用 4

一句话总结

Nemo 提出了一种交互式数据编程框架，通过战略性地选择开发数据并基于用户交互对标注函数（LFs）进行情境化建模，从而提升弱监督性能。通过将标注函数开发过程形式化为迭代循环，与标准弱监督流水线相比，Nemo 平均提升 20% 的生产力（最高达 47%）。

ABSTRACT

Weak Supervision (WS) techniques allow users to efficiently create large training datasets by programmatically labeling data with heuristic sources of supervision. While the success of WS relies heavily on the provided labeling heuristics, the process of how these heuristics are created in practice has remained under-explored. In this work, we formalize the development process of labeling heuristics as an interactive procedure, built around the existing workflow where users draw ideas from a selected set of development data for designing the heuristic sources. With the formalism, we study two core problems of how to strategically select the development data to guide users in efficiently creating informative heuristics, and how to exploit the information within the development process to contextualize and better learn from the resultant heuristics. Building upon two novel methodologies that effectively tackle the respective problems considered, we present Nemo, an end-to-end interactive system that improves the overall productivity of WS learning pipeline by an average 20% (and up to 47% in one task) compared to the prevailing WS approach.

研究动机与目标

• 将弱监督中的标注函数（LF）开发过程形式化为一种交互式、数据驱动的工作流。
• 解决现有弱监督流水线中随机选择开发数据所导致的低效问题。
• 不孤立地建模标注函数，而是结合开发过程中数据和用户行为的情境意识进行建模。
• 通过整合用户交互和数据上下文，提升弱监督流水线的整体生产力和准确性。
• 通过将用户引导的开发嵌入学习流水线，弥合主动学习与数据编程之间的差距。

提出的方法

• 提出交互式数据编程（IDP），一种正式框架，将 LF 开发建模为包含两个核心组件的迭代循环：战略性数据选择和情境化 LF 建模。
• 提出策略性示例效用（SEU）度量，用于指导选择能最大化标注函数创建预期效用的开发数据点。
• 采用用户模型，基于开发数据中是否存在特定模式（原语）来估计用户创建新 LF 的概率。
• 设计情境化学习流水线，将开发过程中的信息（如用户检查了哪些数据点、使用了哪些模式）整合到 LF 去噪和聚合中。
• 将 SEU 框架扩展至支持多示例和多 LF 用户交互，支持复杂 LF 编写任务的灵活界面设计。
• 在 Nemo 用户界面中集成基于原语的示例浏览器，允许用户检查包含选定模式的多个示例，以评估 LF 的泛化潜力。

实验结果

研究问题

• RQ1 如何战略性地选择开发数据，以最大化弱监督中标注函数的有用性和信息量？
• RQ2 如何利用标注函数开发过程的上下文（如用户交互和数据模式）来提升标注函数的准确性和泛化能力？
• RQ3 将用户引导的开发集成到弱监督流水线中，能在多大程度上提升整体生产力和模型性能？
• RQ4 形式化且交互式的标注函数开发工作流是否能在效率和有效性方面超越传统的被动弱监督流水线？
• RQ5 系统如何支持用户在每次迭代中创建多个标注函数，同时保持模型准确性与效用估计的稳定性？

主要发现

• Nemo 在多个数据集和任务上，平均将弱监督流水线的整体生产力提升 20%。
• 在某一特定任务中，Nemo 相较于主流弱监督方法，实现了 47% 的生产力提升。
• 策略性示例效用（SEU）选择策略在引导用户构建更有效的标注函数方面，显著优于随机采样。
• 利用开发过程元数据对标注函数进行情境化处理，可实现更好的去噪效果和更准确的概率标签聚合。
• 集成基于原语的示例浏览器显著提升了用户评估 LF 泛化能力的能力，降低了对特定数据模式的过拟合风险。
• 将框架扩展至支持多 LF 和多示例开发工作流，仍能保持高效用和高准确性，证明了其可扩展性和灵活性。