[论文解读] The (Un)Reliability of NVD Vulnerable Versions Data: an Empirical Experiment on Google Chrome Vulnerabilities

Viet Hung Nguyen, Fabio Massacci|arXiv (Cornell University)|Feb 17, 2013

Web Application Security Vulnerabilities被引用 4

一句话总结

本文通过手动验证实验评估了国家漏洞数据库（NVD）针对谷歌浏览器（Google Chrome）的漏洞版本数据的可靠性。研究发现，约25%的可验证浏览器漏洞在NVD中被错误地标记为易受攻击，整体错误率超过7%，严重削弱了依赖此数据的实证研究的有效性。

ABSTRACT

NVD is one of the most popular databases used by researchers to conduct empirical research on data sets of vulnerabilities. Our recent analysis on Chrome vulnerability data reported by NVD has revealed an abnormally phenomenon in the data where almost vulnerabilities were originated from the first versions. This inspires our experiment to validate the reliability of the NVD vulnerable version data. In this experiment, we verify for each version of Chrome that NVD claims vulnerable is actually vulnerable. The experiment revealed several errors in the vulnerability data of Chrome. Furthermore, we have also analyzed how these errors might impact the conclusions of an empirical study on foundational vulnerability. Our results show that different conclusions could be obtained due to the data errors.

研究动机与目标

• 评估NVD的“易受攻击软件及其版本”功能在谷歌浏览器上的可靠性，该功能在实证漏洞研究中被广泛使用。
• 识别并量化NVD报告的Chrome易受攻击版本中的错误，包括误报和漏报。
• 评估此类数据错误如何影响基于NVD数据的奠基性漏洞研究的结论。
• 为其他开源软件（如Firefox或Linux）提供可复现的验证方法。
• 强调由于依赖潜在不准确的第三方数据库（如NVD）而带来的漏洞研究数据偏差风险。

提出的方法

• 作者通过检查实际代码和发布历史，手动验证了每个NVD条目声称特定Chrome版本存在漏洞的说法。
• 采用多轮测试与修正的方法，确保验证过程的正确性，通过迭代检查和修正输出结果。
• 对于与外部项目（如WebKit、V8）相关的不可直接验证漏洞，他们从Chrome的缺陷追踪系统中提取了错误报告链接，并将其映射到外部项目的版本修订记录。
• 通过检查Chrome的源代码仓库，重建了版本到修订版本的映射关系，将Chrome版本与外部组件的特定修订版本关联起来。
• 应用统计分析计算错误率，使用5%作为显著错误水平的阈值。
• 本研究采用系统化、可复现的方法，对各个Chrome版本的漏洞声明进行了验证。

实验结果

研究问题

• RQ1 NVD的‘易受攻击版本’功能在谷歌浏览器上有多大的可信度？
• RQ2 NVD报告的Chrome易受攻击版本的实际错误率是多少？该错误率在不同版本间如何变化？
• RQ3 NVD易受攻击版本功能中的数据错误如何影响奠基性漏洞研究的结论？
• RQ4 是否可以建立一种可复现的手动验证方法，用于验证其他开源软件的NVD漏洞数据？
• RQ5 NVD报告数据与实际漏洞状态之间差异的根本原因是什么？

主要发现

• 约25%的可验证Chrome漏洞在NVD中被错误报告为易受攻击，表明该数据存在较高的错误率。
• 即使假设所有不可验证漏洞的报告均正确，整体错误率仍超过7%，超过5%的统计显著性阈值。
• 研究发现，NVD频繁错误报告过去和未来版本的漏洞，包括误报和漏报。
• 这些数据错误严重威胁到奠基性漏洞实证研究的有效性，可能导致关于可利用性和暴露时间的错误结论。
• 约三分之二的Chrome漏洞不可验证，因为其源于WebKit、V8等外部项目，需要额外的逆向工程工作。
• 作者通过利用错误报告和源代码分析，将Chrome版本与外部项目修订版本关联，展示了可行且可复现的NVD数据验证方法。