[论文解读] The DSA Transparency Database: Auditing Self-reported Moderation Actions by Social Media

Amaury Trujillo, Tiziano Fagni+1 more|arXiv (Cornell University)|Dec 16, 2023

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文分析了DSA透明度数据库上线首100天的数据，审计了八家主要欧盟社交媒体平台自报的审核措施。研究揭示了显著的不一致、报告不完整以及平台间差异——尤其在X（前身为Twitter）平台表现突出——尽管已强制遵守DSA，但这些因素严重削弱了数据的可靠性。

ABSTRACT

Since September 2023, the Digital Services Act (DSA) obliges large online platforms to submit detailed data on each moderation action they take within the European Union (EU) to the DSA Transparency Database. From its inception, this centralized database has sparked scholarly interest as an unprecedented and potentially unique trove of data on real-world online moderation. Here, we thoroughly analyze all 353.12M records submitted by the eight largest social media platforms in the EU during the first 100 days of the database. Specifically, we conduct a platform-wise comparative study of their: volume of moderation actions, grounds for decision, types of applied restrictions, types of moderated content, timeliness in undertaking and submitting moderation actions, and use of automation. Furthermore, we systematically cross-check the contents of the database with the platforms' own transparency reports. Our analyses reveal that (i) the platforms adhered only in part to the philosophy and structure of the database, (ii) the structure of the database is partially inadequate for the platforms' reporting needs, (iii) the platforms exhibited substantial differences in their moderation actions, (iv) a remarkable fraction of the database data is inconsistent, (v) the platform X (formerly Twitter) presents the most inconsistencies. Our findings have far-reaching implications for policymakers and scholars across diverse disciplines. They offer guidance for future regulations that cater to the reporting needs of online platforms in general, but also highlight opportunities to improve and refine the database itself.

研究动机与目标

• 评估大型社交媒体平台提交至DSA透明度数据库的自报审核数据的可靠性与完整性。
• 比较平台在DSA-TDB中报告的审核措施与其公开透明度报告之间的一致性与准确性。
• 评估DSA-TDB的结构在多大程度上支持内容与审核动态各异的多样化平台的报告需求。
• 识别数据质量问题中的系统性缺陷，包括不一致与信息缺失，这些缺陷阻碍了对在线内容审核的学术与政策分析。
• 通过揭示当前DSA报告框架在结构与实施方面的不足，为未来监管设计与数据库改进提供建议。

提出的方法

• 收集并分析了八家VLOPs在DSA透明度数据库上线首100天内提交的全部3.5312亿份理由声明（SoRs）。
• 在关键维度上开展平台间的对比分析：行动数量、决策依据、限制类型、内容类型、及时性及自动化使用情况。
• 将DSA-TDB记录与各平台官方发布的透明度报告交叉核对，以检测差异。
• 通过内部有效性检查对数据结构与内容进行评估，识别不一致问题，如字段缺失或冲突。
• 通过评估数据库是否支持对账户级别行动与内容特定限制的全面报告，评估其结构充分性。
• 采用定量与定性方法评估数据的完整性、一致性及与DSA要求的契合度。

实验结果

研究问题

• RQ1 大型社交媒体平台在多大程度上遵循了DSA透明度数据库的既定结构与理念？
• RQ2 DSA-TDB中报告的审核数据与平台自身透明度报告中的相同数据在多大程度上保持一致？
• RQ3 在所分析的八家平台之间，审核实践的关键差异（如限制类型、内容类型及自动化使用）是什么？
• RQ4 DSA-TDB中的数据不一致性如何影响基于该数据集的学术与政策研究的可靠性？
• RQ5 DSA-TDB在结构上存在哪些局限，阻碍了平台对审核行动进行准确与全面的报告？

主要发现

• 平台仅部分遵循了DSA透明度数据库的理念与结构，多数在理由声明中遗漏了重要可选细节。
• DSA-TDB的结构对平台报告需求而言部分不充分，尤其缺乏对账户级别审核行动的显式支持。
• 数据库中相当大比例的数据——尤其是来自X（前身为Twitter）的数据——存在不一致，多个维度上发现显著差异。
• X平台的不一致性最高，包括理由声明数据与透明度报告之间存在不匹配，表明存在系统性数据质量问题。
• 尽管已强制遵守DSA，但数据的自报性质与广泛存在的不一致，严重削弱了其在研究与政策应用中的可靠性。
• 研究结果表明，规模更小、资源更少的平台可能面临更大的准确报告挑战，可能进一步加剧整体数据质量的恶化。