[论文解读] Operationalizing Conflict and Cooperation between Automated Software Agents in Wikipedia: A Replication and Expansion of 'Even Good Bots Fight'

R. Stuart Geiger, Aaron Halfaker|arXiv (Cornell University)|Oct 16, 2018

Wikis in Education and Collaboration参考文献 59被引用 7

一句话总结

本文复制并扩展了PLoS ONE论文《即使好机器人也会争斗》的研究，采用混合方法——结合定量指标与定性痕迹民族志——重新审视维基百科上的机器人-机器人互动。研究发现，大多数被标记为'冲突'的互动实际上属于常规、协作或富有成效的互动，挑战了先前关于机器人冲突普遍存在的说法，并提出了新的操作性定义及基于编辑摘要模式的计算分类方法。

ABSTRACT

This paper replicates, extends, and refutes conclusions made in a study published in PLoS ONE ("Even Good Bots Fight"), which claimed to identify substantial levels of conflict between automated software agents (or bots) in Wikipedia using purely quantitative methods. By applying an integrative mixed-methods approach drawing on trace ethnography, we place these alleged cases of bot-bot conflict into context and arrive at a better understanding of these interactions. We found that overwhelmingly, the interactions previously characterized as problematic instances of conflict are typically better characterized as routine, productive, even collaborative work. These results challenge past work and show the importance of qualitative/quantitative collaboration. In our paper, we present quantitative metrics and qualitative heuristics for operationalizing bot-bot conflict. We give thick descriptions of kinds of events that present as bot-bot reverts, helping distinguish conflict from non-conflict. We computationally classify these kinds of events through patterns in edit summaries. By interpreting found/trace data in the socio-technical contexts in which people give that data meaning, we gain more from quantitative measurements, drawing deeper understandings about the governance of algorithmic systems in Wikipedia. We have also released our data collection, processing, and analysis pipeline, to facilitate computational reproducibility of our findings and to help other researchers interested in conducting similar mixed-method scholarship in other platforms and contexts.

研究动机与目标

• 批判性地评估并复制PLoS ONE论文中关于维基百科上机器人-机器人冲突具有显著性的主张。
• 通过整合定性社会技术语境，挑战仅依赖定量方法识别机器人冲突的有效性。
• 基于现实中的编辑行为，制定机器人-机器人冲突与合作的操作性定义。
• 开发一种计算上可复现的流程，利用编辑摘要和痕迹数据对机器人互动进行分类。
• 证明在理解在线平台中的算法治理时，必须结合定量分析与定性解读。

提出的方法

• 采用混合方法设计，将定量分析与维基百科编辑历史的定性痕迹民族志相结合。
• 利用计算方法对机器人编辑摘要进行分类，依据语言和行为模式区分不同类型的机器人互动。
• 分析维基百科修订历史中的痕迹数据，以识别并 contextualize（语境化）机器人-机器人回退与编辑行为。
• 应用定性启发式方法，在其社会技术语境中重新解释通过定量手段检测到的'冲突'。
• 开发并发布完整的数据收集、处理与分析流程，以确保计算上的可复现性。
• 借鉴社会技术框架，解释机器人编辑摘要与行为中如何嵌入意义与意图。

实验结果

研究问题

• RQ1 维基百科上机器人-机器人互动的定量度量在多大程度上准确反映了冲突，而非常规或协作性工作？
• RQ2 编辑摘要与修订历史中的定性语境在多大程度上能改善对机器人互动指标的解读？
• RQ3 哪些类型的机器人互动会被纯粹的定量方法系统性地误分类为冲突？
• RQ4 如何利用编辑摘要在计算上将机器人互动分类为冲突、合作或中性类别？
• RQ5 在研究协作型在线系统中的算法治理时，需要哪些方法论上的改进？

主要发现

• 绝大多数先前被标记为'冲突'的机器人-机器人互动并非对抗性，而是常规、富有成效或协作性质的。
• 仅依赖定量指标会高估机器人冲突，因其未能考虑上下文、意图和编辑摘要的语义。
• 编辑摘要中存在可靠的模式，可计算地将机器人互动分类为不同行为类别，且具有高度解释保真度。
• 本研究的混合方法揭示，许多机器人回退实为协调维护或清理工作的组成部分，而非争端。
• 作者通过结合定量指标与定性启发式方法，成功实现了冲突与合作的操作化定义，为未来研究提供了可复现的框架。
• 作者发布了完整可复现的数据与分析流程，以支持未来对在线社区中算法系统的混合方法研究。