[论文解读] ORES: Lowering Barriers with Participatory Machine Learning in Wikipedia

Aaron Halfaker, R. Stuart Geiger|arXiv (Cornell University)|Sep 11, 2019

Wikis in Education and Collaboration参考文献 102被引用 25

一句话总结

ORES 是一个参与式机器学习系统，允许维基百科编辑通过开放 API 协作构建、审核并部署实时编辑评分分类器。通过将数据整理、模型训练和部署解耦，ORES 降低了技术门槛，扩大了社区在算法治理中的参与度，实现了跨 44 种语言的透明、可扩展的内容审核，共部署了 110 个分类器。

ABSTRACT

Algorithmic systems---from rule-based bots to machine learning classifiers---have a long history of supporting the essential work of content moderation and other curation work in peer production projects. From counter-vandalism to task routing, basic machine prediction has allowed open knowledge projects like Wikipedia to scale to the largest encyclopedia in the world, while maintaining quality and consistency. However, conversations about how quality control should work and what role algorithms should play have generally been led by the expert engineers who have the skills and resources to develop and modify these complex algorithmic systems. In this paper, we describe ORES: an algorithmic scoring service that supports real-time scoring of wiki edits using multiple independent classifiers trained on different datasets. ORES decouples several activities that have typically all been performed by engineers: choosing or curating training data, building models to serve predictions, auditing predictions, and developing interfaces or automated agents that act on those predictions. This meta-algorithmic system was designed to open up socio-technical conversations about algorithms in Wikipedia to a broader set of participants. In this paper, we discuss the theoretical mechanisms of social change ORES enables and detail case studies in participatory machine learning around ORES from the 5 years since its deployment.

研究动机与目标

• 为解决算法内容审核中社区参与度不足的问题，通过在维基百科中去中心化机器学习开发来实现。
• 降低非专业编辑在模型训练和审核中参与的技术门槛。
• 在维基百科等大规模协作生产平台中，实现人工智能系统透明、可问责且开放的治理。
• 探索社会技术设计如何在算法系统中支持公平性、透明度和社区共识。
• 证明参与式机器学习可在无中央控制的多语言、去中心化社区中实现规模化。

提出的方法

• ORES 提供基于云的 API，从多个独立训练的分类器实时提供预测结果，这些分类器基于社区整理的数据集进行训练。
• 该系统将数据整理、模型训练、审核和部署解耦，使志愿编辑能够独立贡献。
• 分类器使用监督学习在标注的编辑数据上进行训练，通过迭代的社区审核和性能监控对模型进行评估。
• ORES 支持多种分类任务，包括“破坏性/非破坏性”、“善意/恶意”、文章质量评估以及主题标签分类。
• 该平台基于开源代码和数据构建，所有开发和治理流程公开可访问，并由社区协作管理。
• 已开发基于 Jupyter Notebook 的教程，以降低非专业贡献者学习和复现模型训练工作流的门槛。

实验结果

研究问题

• RQ1 如何设计协作生产平台中的机器学习系统，以实现超越专家工程师的更广泛社区参与？
• RQ2 哪些社会技术机制能够在大规模算法内容审核中实现透明度、问责制和公平性？
• RQ3 去中心化、社区驱动的分类器开发与审核流程如何影响模型性能和信任度？
• RQ4 在高风险审核环境中，向非专业贡献者开放机器学习开发可能带来哪些非预期后果？
• RQ5 参与式机器学习系统（如 ORES）在多大程度上能够减少算法治理中的结构性不平等？

主要发现

• ORES 已在 44 种语言中成功部署了 110 个分类器，实现了对多种审核任务（如破坏行为检测和文章质量评估）的实时编辑评分。
• 该系统已支持超过 50 个由社区主导的分类器项目，表明非专业编辑在数据整理和模型审核方面具有持续参与度。
• 社区审核发现，模型性能在不同语言版本间存在显著差异，凸显了本地化、社区驱动开发的重要性。
• 使用 Jupyter Notebook 作为教育工具，使新贡献者能够理解并复现模型训练工作流，表明向民主化机器学习发展的一条可行路径。
• 尽管系统开放，但关于可能强化结构性不平等的担忧依然存在，特别是在自选贡献者主导模型开发、且处于潜在敌对编辑环境中的情况下。
• 该系统推动了从集中式算法控制向更具分布式、受计算机支持协同工作（CSCW）启发的算法治理模式转变，但随着去中心化程度提高，也带来了新的治理挑战。