[论文解读] ROAD: The Real ORNL Automotive Dynamometer Controller Area Network Intrusion Detection Dataset (with a comprehensive CAN IDS dataset survey & guide).

Miki E. Verma, Michael D. Iannacone+4 more|arXiv (Cornell University)|Dec 29, 2020

Vehicular Ad Hoc Networks (VANETs)参考文献 30被引用 19

一句话总结

本文介绍了ROAD数据集，这是首个包含真实、高级车辆总线网络入侵攻击的综合CAN入侵检测数据集，同时对现有公开的CAN IDS数据集进行了系统性调研。该数据集为研究人员提供了高保真度、带标签的攻击数据，并提供了详细指南，以帮助选择合适的数据库来评估和比较CAN入侵检测系统。

ABSTRACT

The Controller Area Network (CAN) protocol is ubiquitous in modern vehicles, but the protocol lacks many important security properties, such as message authentication. To address these insecurities, a rapidly growing field of research has emerged that seeks to detect tampering, anomalies, or attacks on these networks; this field has developed a wide variety of novel approaches and algorithms to address these problems. One major impediment to the progression of this CAN anomaly detection and intrusion detection system (IDS) research area is the lack of high-fidelity datasets with realistic labeled attacks, without which it is difficult to evaluate, compare, and validate these proposed approaches. In this work we present the first comprehensive survey of publicly available CAN intrusion datasets. Based on a thorough analysis of the data and documentation, for each dataset we provide a detailed description and enumerate the drawbacks, benefits, and suggested use cases. Our analysis is aimed at guiding researchers in finding appropriate datasets for testing a CAN IDS. We present the Real ORNL Automotive Dynamometer (ROAD) CAN Intrusion Dataset, providing the first dataset with real, advanced attacks to the existing collection of open datasets.

研究动机与目标

• 解决在评估和比较车载网络入侵检测系统（IDS）时，缺乏高保真度、真实且带标签的CAN入侵数据集这一关键问题。
• 对现有公开可用的CAN IDS数据集进行全面调研，以评估其质量、局限性及研究适用性。
• 提供一份详细、基于证据的指南，帮助研究人员根据其特定的IDS评估需求选择合适的数据集。
• 介绍真实ORNL汽车测功机（ROAD）数据集，该数据集在受控条件下对功能完整的车辆网络实施了真实世界的高级攻击。
• 通过提供包含真实攻击场景和详尽文档的数据集，实现CAN IDS算法的可复现且有效的评估。

提出的方法

• 通过结构化评审流程，系统性地收集并分析所有公开可用的CAN入侵检测数据集。
• 基于数据保真度、攻击真实性、标注准确性、文档质量及可复现性等关键标准，对每个数据集进行评估。
• 根据攻击类型、数据采集环境和预期使用场景对数据集进行分类，以支持研究人员做出明智选择。
• 在ORNL的全尺寸汽车测功机上设计并执行真实世界攻击实验，以生成ROAD数据集。
• 在正常运行状态及多种多样化、真实感强的网络攻击（包括重放、欺骗和拒绝服务攻击）期间，记录并标注CAN通信数据。
• 完整记录所有实验条件、攻击向量及标注流程，以确保未来研究的透明性与可复现性。

实验结果

研究问题

• RQ1 现有公开可用的CAN入侵检测数据集的关键局限性和优势是什么？
• RQ2 不同CAN IDS数据集在数据保真度、攻击真实性和文档质量方面如何比较？
• RQ3 当前公开数据集中缺少或代表性不足的攻击场景有哪些类型？
• RQ4 一个包含真实世界、高保真度高级攻击的数据集，是否能提升CAN IDS算法的评估与验证效果？
• RQ5 研究人员如何被引导选择最适合其特定IDS研究目标的数据集？

主要发现

• ROAD数据集是首个公开可用的CAN IDS数据集，它通过真实汽车测功机在功能完整的车辆网络上捕获了真实、高级的攻击。
• 调研揭示了现有数据集存在显著缺陷，包括攻击真实性不足、标注质量差以及文档不充分，这些都阻碍了IDS方法的可靠评估。
• 许多现有数据集缺乏多样化的攻击类型，或未能模拟真实的车辆运行条件，限制了其在稳健IDS测试中的实用性。
• ROAD数据集包含了多种高级攻击，如重放、欺骗和拒绝服务攻击，均在受控但真实的条件下执行。
• 该数据集完全标注，并配有详尽文档，可支持可复现的实验和IDS算法的公平比较。
• 全面的调研提供了一个清晰的数据集选择框架，帮助研究人员避免IDS评估中的常见陷阱。