[论文解读] VeriDark Agora Authorship Verification Dataset

Andrei Manolache, Florin Brad+3 more|arXiv (Cornell University)|Jul 7, 2022

Authorship Attribution and Profiling被引用 13

一句话总结

VeriDark 引入了一个大规模的暗网作者身份验证基准，包含三个已关闭市场的数据集（Agora、SilkRoad1）以及一个与暗网相关的 Reddit 论坛（DarkReddit+），并附带一个十分类作者身份识别任务。该研究在这些数据集上评估了基于 BERT 的模型，表明领域偏移显著影响性能，并强调了术语、标点符号等语言特征可能作为虚假信号。

ABSTRACT

<pre>VeriDark (Authorship Verification in the DarkNet) is a benchmark for evaluating authorship analysis methods in a cybersecurity context, by introducing datasets gathered from the DarkNet marketplace forums or from Darknet-related discussions on Reddit. This benchmark contains three datasets for authorship verification and one dataset for authorship identification.</pre>

研究动机与目标

• 为解决在网络安全背景下，特别是暗网环境中，缺乏大规模、领域特定的作者身份验证数据集的问题。
• 支持在真实网络犯罪相关文本数据上训练和评估鲁棒的自然语言处理模型，而非依赖文学语料库。
• 评估在通用文学语料库（如 PAN2020）上预训练的模型与在暗网数据上微调的模型之间的性能差距。
• 提供一个公开基准，配备伦理保护措施，以支持负责任的作者身份验证与识别研究。
• 分析可能在作者身份验证中充当虚假信号的语言特征，例如标点符号、命名实体和术语。

提出的方法

• 从三个来源收集文本数据：/r/darknetmarkets（Reddit）、Agora（暗网市场论坛）和 SilkRoad1（已关闭的暗网市场论坛）。
• 构建了三个作者身份验证数据集（Agora、SilkRoad1、DarkReddit+）以及一个基于前十大活跃用户的十分类作者身份识别数据集。
• 对用户名进行匿名化处理，并移除敏感数据（如 PGP 密钥、消息内容），以降低隐私风险并防止数据泄露。
• 在 VeriDark 数据集上训练基于 BERT 的模型，并与在 PAN2020 数据集上预训练的模型进行性能对比。
• 实施一个公开排行榜，需披露伦理使用声明并验证机构身份以控制访问权限。
• 提供联系表单，用于报告数据质量问题（如标签错误或重复条目），以确保数据集的完整性。

实验结果

研究问题

• RQ1 当在暗网文本数据上微调时，最先进的作者身份验证模型在性能上是否优于在文学语料库上训练的模型？
• RQ2 哪些语言特征（如标点符号、术语、表情符号）在暗网通信中具有作者身份预测能力，并可能作为虚假信号？
• RQ3 文学文本与暗网论坛之间的领域偏移在多大程度上会降低现有作者身份验证模型的性能？
• RQ4 在暗网讨论数据上训练的十分类作者身份识别模型是否能泛化到其他 subreddit，表明其跨领域鲁棒性？
• RQ5 在发布包含潜在敏感或冒犯性内容的数字取证自然语言处理数据集时，需要哪些伦理保护措施？

主要发现

• VeriDark 基准包含三个大规模作者身份验证数据集——Agora、SilkRoad1 和 DarkReddit+，其中 Agora 和 SilkRoad1 是目前公开可用的同类数据集中规模最大的。
• 在 VeriDark 数据集上微调的基于 BERT 的模型优于在 PAN2020 数据集上预训练的模型，表明作者身份验证中存在领域偏移的负面影响。
• VeriDark 数据集中文本的平均长度显著短于 PAN2020，但样本数量更多，使其适用于低资源和少样本学习场景。
• 定性分析表明，标点符号、命名实体和领域特定术语等特征在同作者文本中频繁共现，提示可能存在虚假相关性。
• 研究者发现数据集中普遍存在冒犯性和暴力语言，进一步凸显了实施伦理访问控制和数据使用政策的必要性。
• 通过 GitHub 和带访问限制的安全排行榜公开发布数据集，有助于在研究实用性与伦理责任之间取得平衡。