[论文解读] ScrawlD: A Dataset of Real World Ethereum Smart Contracts Labelled with Vulnerabilities
本文提出了 ScrawlD，一个包含 6,700 个真实以太坊智能合约的基准数据集，这些合约通过五种静态分析工具的多数投票策略标注了漏洞。该数据集支持对漏洞检测工具进行无偏见评估，支持机器学习训练，并提供了关于工具有效性的实证洞察，解决了该领域缺乏标准化、大规模、真实世界标注数据集的问题。
Smart contracts on Ethereum handle millions of U.S. Dollars and other financial assets. In the past, attackers have exploited smart contracts to steal these assets. The Ethereum community has developed plenty of tools to detect vulnerable smart contracts. However, there is no standardized data set to evaluate these existing tools, or any new tools developed. There is a need for an unbiased standard benchmark of real-world Ethereum smart contracts. We have created ScrawlD: an annotated data set of real-world smart contracts taken from the Ethereum network. The data set is labelled using 5 tools that detect various vulnerabilities in smart contracts, using majority voting.
研究动机与目标
- 为解决评估以太坊智能合约漏洞检测工具时缺乏标准化、大规模、真实世界基准数据集的问题。
- 创建一个具有代表性、多样性且无偏见的真实世界智能合约数据集，包含经人工验证的漏洞标注。
- 支持新型静态分析工具和基于机器学习的漏洞检测系统的设计与评估。
- 通过提供包含真实标签的统一评估套件，实现对现有工具的实证比较。
- 通过减少来自合成或小规模标注数据集的偏差，提高工具评估的可靠性。
提出的方法
- 通过从 Etherscan 收集 46,000 个以太坊智能合约构建数据集，重点关注至少有一笔交易的真实合约。
- 使用五种成熟的静态分析工具（Slither、Mythril、Oyente、SmartCheck 及其他工具）对每个合约进行已知漏洞分析。
- 通过多数投票机制分配漏洞标签：仅当至少 50% 的工具在同一行号报告该漏洞时，才认为该漏洞存在。
- 团队使用 Docker 容器确保工具兼容性并隔离执行环境。
- 最终数据集包含 6,700 个合约，其漏洞标注映射到具体行号，并使用 SWC-registry 漏洞类型。
- 该数据集已公开发布于 https://github.com/sujeetc/ScrawlD，供社区使用及未来扩展。
实验结果
研究问题
- RQ1真实以太坊智能合约中不同漏洞类型的普遍性如何？
- RQ2多数投票共识策略在减少漏洞标注中的误报和漏报方面效果如何？
- RQ3大规模、真实世界、标注过的数据集能否提升智能合约漏洞检测工具的评估与训练效果？
- RQ4当在标准化、真实世界的基准上评估时，现有工具在检测漏洞方面的表现如何比较？
- RQ5从严重性和频率的角度来看，真实世界智能合约中的漏洞分布如何？
主要发现
- 该数据集包含 6,700 个真实以太坊智能合约，其中 2,688 个合约未检测到漏洞。
- 重入（SWC-107）和算术溢出/下溢（SWC-101）是报告频率最高的漏洞类型之一。
- 拒绝服务（DOS）漏洞未被多数工具检测到，表明可能存在工具局限性或实际出现频率较低。
- 共有 2,912 个合约恰好包含一个漏洞，1,082 个合约包含两个漏洞，表明真实合约中漏洞密度中等至较高。
- 多数投票标注策略有效降低了误报，并提供了可靠的基准真实标签，尽管某些漏洞如 DOS 的报告仍不一致。
- 该数据集已公开，并将在未来通过引入更多工具和众包人工验证的方式逐步扩展。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。