[论文解读] Toxicity in the Decentralized Web and the Potential for Model Sharing

Haris Bin Zia, Aravindh. Raman+5 more|arXiv (Cornell University)|Apr 27, 2022

Advanced Malware Detection Techniques被引用 8

一句话总结

本文提出 ModPair，一种用于去中心化网络（DW）中毒性内容检测的去中心化模型共享系统，使 Pleroma 实例能够通过交换预训练模型协作提升内容审核效果。基于包含 990 万条 toot 的数据集，作者发现 12.15% 的内容具有毒性，并在实例间迅速传播；ModPair 通过启用实例间模型共享与集成投票，实现了 0.89 的宏平均 F1 分数，显著减轻了人工审核负担。

ABSTRACT

The "Decentralised Web" (DW) is an evolving concept, which encompasses technologies aimed at providing greater transparency and openness on the web. The DW relies on independent servers (aka instances) that mesh together in a peer-to-peer fashion to deliver a range of services (e.g. micro-blogs, image sharing, video streaming). However, toxic content moderation in this decentralised context is challenging. This is because there is no central entity that can define toxicity, nor a large central pool of data that can be used to build universal classifiers. It is therefore unsurprising that there have been several high-profile cases of the DW being misused to coordinate and disseminate harmful material. Using a dataset of 9.9M posts from 117K users on Pleroma (a popular DW microblogging service), we quantify the presence of toxic content. We find that toxic content is prevalent and spreads rapidly between instances. We show that automating per-instance content moderation is challenging due to the lack of sufficient training data available and the effort required in labelling. We therefore propose and evaluate ModPair, a model sharing system that effectively detects toxic content, gaining an average per-instance macro-F1 score 0.89.

研究动机与目标

• 调查去中心化社交平台（如 Pleroma）中毒性内容的普遍性及其传播情况。
• 评估在数据量有限和标注工作量有限的条件下，单个实例实现自动化审核的可行性。
• 通过在独立实例之间实现协作式模型共享，应对去中心化内容审核的挑战。
• 设计并评估一种可扩展、轻量级的系统，提升检测准确率，且无需依赖集中式基础设施。

提出的方法

• 作者在三年内从 30 个 Pleroma 实例收集了大规模的 990 万条 toot 数据集，涵盖 11.7 万名用户。
• 基于 TF-IDF 特征，使用逻辑回归训练各实例的二分类器，建立本地审核的基线性能。
• ModPair 允许实例交换预训练模型，并通过集成投票机制提升联邦网络中的检测准确率。
• 系统采用预采样技术，动态选择语言相似度高的远程实例，以优化模型共享效率。
• 模型共享通过轻量级协议实现，避免数据泄露，同时尊重去中心化原则。
• 该方法通过依赖轻量级模型与协作推理，避免了资源密集型的微调或推理过程。

实验结果

研究问题

• RQ1 在去中心化网络中，尤其是 Pleroma 上，存在多少毒性内容？
• RQ2 毒性内容如何通过 Fediverse 联邦机制在实例间传播？
• RQ3 在数据量有限和标注工作量有限的条件下，单个实例能否有效训练自动化审核模型？
• RQ4 去中心化实例如何在不依赖中心化权威机构的前提下协作提升毒性内容检测能力？

主要发现

• 毒性内容在去中心化网络中普遍存在，数据集中 12.15% 的 toot 被分类为毒性内容。
• 毒性内容在实例间广泛传播：30 个实例中有 26 个平均接收至少 10.5 万条来自远程实例的毒性 toot。
• 实例从远程源接收的毒性内容多于其本地生成的内容，导致大规模人工审核不可行。
• 单实例模型表现中等，但需要大量人工标注工作，这对大多数管理员而言不切实际。
• ModPair 通过协作式模型共享提升了检测准确率，在各实例间实现了平均 0.89 的宏平均 F1 分数。
• 通过预采样选择语言相似的实例，显著提升了模型共享效率与检测性能。