[论文解读] Talking Wikidata: Communication Patterns and Their Impact on Community Engagement in Collaborative Knowledge Graphs

Elisavet Koutsiana, Ioannis Reklos+4 more|arXiv (Cornell University)|Jun 12, 2024

Wikis in Education and Collaboration被引用 1

一句话总结

本研究采用混合方法，包括网络分析和图/文本嵌入，调查了Wikidata协作知识图谱社区中的沟通模式。研究发现，编辑互动形成了一个具有韧性的小世界网络，内容与拓扑结构共同维系对话，且长期参与度强烈受编辑和讨论年龄的影响。

ABSTRACT

We study collaboration patterns of Wikidata, one of the world's largest open source collaborative knowledge graph (KG) communities. Collaborative KG communities, play a key role in structuring machine-readable knowledge to support AI systems like conversational agents. However, these communities face challenges related to long-term member engagement, as a small subset of contributors often is responsible for the majority of contributions and decision-making. While prior research has explored contributors' roles and lifespans, discussions within collaborative KG communities remain understudied. To fill this gap, we investigated the behavioural patterns of contributors and factors affecting their communication and participation. We analysed all the discussions on Wikidata using a mixed methods approach, including statistical tests, network analysis, and text and graph embedding representations. Our findings reveal that the interactions between Wikidata editors form a small world network, resilient to dropouts and inclusive, where both the network topology and discussion content influence the continuity of conversations. Furthermore, the account age of Wikidata members and their conversations are significant factors in their long-term engagement with the project. Our observations and recommendations can benefit the Wikidata and semantic web communities, providing guidance on how to improve collaborative environments for sustainability, growth, and quality.

研究动机与目标

• 理解Wikidata编辑之间沟通的结构与行为模式。
• 识别影响讨论是否获得回复并维持参与度的因素。
• 研究编辑特征和讨论内容如何影响协作知识图谱社区中的长期参与。
• 通过推荐改进参与度和包容性的工具与实践，支持社区的可持续发展。

提出的方法

• 结合描述性统计、网络分析和假设检验的混合方法分析，对讨论数据进行处理。
• 构建共讨论网络，其中编辑为节点，共享参与线程形成边。
• 使用图嵌入建模讨论网络的拓扑结构，使用文本嵌入表示讨论内容。
• 将图嵌入和文本嵌入特征与编辑特征（如账号年龄）结合，构建机器学习模型以预测回复可能性和参与度。
• 采用聚类系数和最短路径度量评估网络的小世界特性。
• 通过定性洞察验证发现，并与编辑访问级别和贡献模式交叉参照。

实验结果

研究问题

• RQ1 RQ1: Wikidata讨论中编辑协作的特征是什么？
• RQ2 RQ2: 哪些因素会影响讨论是否获得回复？
• RQ3 RQ3: 讨论是否会影响编辑的长期参与度？
• RQ4 RQ4: 网络拓扑与讨论内容如何共同影响对话的持续性？
• RQ5 RQ5: 编辑账号年龄在持续参与中扮演什么角色？

主要发现

• Wikidata讨论网络表现出小世界特性，聚类系数高且平均最短路径短，表明网络连接紧密且对成员流失具有强韧性。
• 讨论内容与网络拓扑共同影响对话持续性，其中拓扑结构在维持参与度方面起着关键作用。
• 编辑账号年龄及其讨论的年龄是长期参与度的重要预测因子，年龄较大的贡献者和持续时间较长的线程表现出更高的持久性。
• 尽管平台和结构存在差异，Wikidata的网络比Wikipedia更密集，活跃编辑常与参与度较低的编辑互动，表明其沟通模式更具包容性。
• 编辑访问级别（如管理员、机器人）对沟通或参与度无显著影响，表明贡献质量与参与度并非仅与正式角色相关。
• 本研究生成了一个公开的Wikidata讨论帖子数据集，并提出了一个分析参与度的框架，建议引入导师制度、帖子监控工具和沟通模板，以提升新成员留存率。