C/C++漏洞检测数据集汇总

  • A+
所属分类:笔记

漏洞检测这个方向最近几年尤为热门,尤其是与深度学习技术相结合的研究,同时一些公开可用的数据集的出现也进一步推动了这些技术的发展。本篇文章总结归纳了目前在 C/C++ 源代码漏洞检测方向的一些公开数据集以及相关文献。

1 Devign (FFmpeg+Qemu)

简介:Zhou 等人[1] 从 4 个大型 C 语言开源项目(包括 Linux Kernel、Qemu、Wireshark 和 FFmpeg)中收集并人工标注函数,构成了该数据集,它包含 12460 个存在漏洞的函数和 14858 个不存在漏洞的函数,属于一个较为平衡的数据集。

  1. 数据集链接:function.json - Google 云端硬盘
  2. 标注级别:函数级
  3. 类别:真实项目数据集
  4. 数据文件:function.json
  5. 项目地址:原作者没有开源项目,这里列出第三方复现代码:GitHub - epicosy/devign: Effective Vulnerability Identification by Learning Comprehensive Program Semantics via Graph Neural Networks

2 Reveal (Chrome + Debian)

简介:Saikat 等人[2] 从 Chromium 和 Debian 项目的开发者/用户报告的漏洞中整理出一个真实世界数据集,它包含 2240 个存在漏洞的函数和 20494 个不存在漏洞的函数,更接近于漏洞代码在真实世界中的分布情况。

  1. 数据集链接:Chromium_And_Debian_Vulnerability_Data - Google 云端硬盘
  2. 标注级别:函数级
  3. 类别:真实项目数据集
  4. 数据文件:vulnerables.json(漏洞样本)和 non-vulnerables.json(非漏洞样本)
  5. 项目地址:GitHub - VulDetProject/ReVeal

3 BigVul

简介:Fan 等人[3] 从 348 个开源 Github 项目中收集,包括从 2002 年到 2019 年的 91 个不同的 CWE,188636 个 C/C++ 函数。其中漏洞函数比例为 5.7%(即 10,900 个漏洞函数),以及 5,060,449 个 LOC,漏洞行比例为 0.88%(即 44,603 条漏洞行)。在这 10,900 个易受攻击的功能中,易受攻击线路的比率从 2.5%(第一四分位数)到 20%(第三四分位数)不等,中位数为 7%。

  1. 数据集链接:MSR_20_Code_vulnerability_CSV_Dataset/all_c_cpp_release2.0.csv at master · ZeoVan/MSR_20_Code_vulnerability_CSV_Dataset · GitHub
  2. 标注级别:行号级
  3. 类别:真实项目数据集
  4. 数据格式:all_c_cpp_release2.0.csv
  5. 项目地址:GitHub - ZeoVan/MSR_20_Code_vulnerability_CSV_Dataset: A C/C++ Code Vulnerability Dataset with Code Changes and CVE Summaries

4 Real-Vul

该数据集基于 Big-Vul 构建,选取了漏洞数量最多的前10个项目,且运用了一些数据增强技术,确保了数据集的多样性和代表性,同时解决了标签不一致问题,更贴近实际使用场景。该数据集共包含 5528 个漏洞函数和 1682713 个不确定函数。

        1. 数据集链接:realvul/RealVul · Datasets at Hugging Face

        2. 标注:行号级

        3. 类别:真实项目数据集

        4. 数据格式: .csv

        5. 项目地址: ​Revisiting the Performance of Deep Learning-Based Vulnerability Detection on Realistic Datasets (zenodo.org)

5 SARD+NVD

简介:Li 等人[4] 从国家漏洞数据库 (NVD) 和软件保障参考数据集 (SARD)中收集了 15150 个程序,包括 2821 个真实世界程序和 12329 个人工合成程序。从 NVD 中收集到的程序附有差异(diff)文件,以程序在修补相关漏洞前后的差异代码的位置作为漏洞行号标签;从 SARD 收集到的程序附有标签,标明这些程序是否存在漏洞。该数据集过滤了代码长度少于 500 行的程序,因为这些程序过于简单,对于真实漏洞检测任务不太适用。

  1. 数据集链接:VulDeeLocator/data/programs at master · VulDeeLocator/VulDeeLocator · GitHub
  2. 标注:函数级和行号级
  3. 类别:人工合成,真实项目数据集
  4. 数据格式:.C / .CPP 源文件
  5. 项目地址:GitHub - VulDeeLocator/VulDeeLocator

6 Juliet C/C++ 1.3.1

简介:一个由美国国家标准与技术研究院(NIST)创建的脆弱数据集,该数据集共包含 64099 个源程序测试用例,这些测试用例覆盖了 118 个不同的 CWE 漏洞类型。

  1. 数据集链接:Juliet C/C++ 1.3.1 with extra support - NIST Software Assurance Reference Dataset
  2. 标注:行号级别
  3. 类别:人工合成数据集
  4. 数据格式:.C / .CPP 源文件
  5. 项目地址:无

7 D2A

简介:Zheng 等人[5] 基于差异分析的方法,用于标记静态分析工具报告的问题。D2A 数据集是通过分析来自多个开源项目的版本对来构建的。从每个项目中,选择错误修复提交,并对此类提交之前和之后的版本运行静态分析。如果在 before-commit 版本中检测到的一些问题在相应的 after-commit 版本中消失,那么它们被视为提交修复的真实 bug。

  1. 数据集链接:D2A - Differential Analysis Dataset - IBM Developer
  2. 标注:函数级
  3. 类别:真实项目数据集
  4. 数据格式:.pickle / .json
  5. 项目地址:GitHub - IBM/D2A: This repository is to support contributions for tools and new data entries for the D2A dataset hosted in DAX

8 DBGBENCH

简介:DbgBench[6] 由一组现实世界中存在错误的 C 程序组成,专业软件工程师对这些程序进行了分析和修复。该数据集由 12 位专业软件工程师,一起花了一个月的时间来定位、解释和修复这些错误。并且该数据集可以准确确定开发人员将哪些陈述定位为错误,开发人员如何诊断和解释错误,以及开发人员如何修复错误。

  1. 数据集链接:Summary | DBGBench
  2. 项目地址:GitHub - dbgbench/dbgbench.github.io: DBGBench Website:

9 CodeXGLUE

简介:微软构建的代码智能基准数据集[7],包括一组代码智能任务和一个用于模型评估和比较的平台。CodeXGLUE 代表 code 的一般语言理解评估基准,其中包括 14 个数据集,用于 10 个多样化的代码智能任务,涵盖以下场景:

  1. 代码-代码(克隆检测、缺陷检测、完形填空测试、代码完成、代码修复和代码到代码转换);
  2. 文本-代码(自然语言代码搜索、文本到代码生成)
  3. 代码-文本(代码摘要)
  4. 文本-文本(文档翻译)
  1. 数据集链接:Hugging Face – The AI community building the future.
  2. 项目地址:GitHub - microsoft/CodeXGLUE: CodeXGLUE

10 参考

  • [1] Zhou Y, Liu S, Siow J, et al. Devign: Effective vulnerability identification by learning comprehensive program semantics via graph neural networks[J]. Advances in neural information processing systems, 2019, 32.
  • [2] Chakraborty S, Krishna R, Ding Y, et al. Deep learning based vulnerability detection: Are we there yet?[J]. IEEE Transactions on Software Engineering, 2021, 48(9): 3280-3296.
  • [3] Fan J, Li Y, Wang S, et al. AC/C++ code vulnerability dataset with code changes and CVE summaries[C]//Proceedings of the 17th International Conference on Mining Software Repositories. 2020: 508-512.
  • [4] Li Z, Zou D, Xu S, et al. Vuldeelocator: a deep learning-based fine-grained vulnerability detector[J]. IEEE Transactions on Dependable and Secure Computing, 2021, 19(4): 2821-2837.
  • [5] Zheng Y, Pujar S, Lewis B, et al. D2a: A dataset built for ai-based vulnerability detection methods using differential analysis[C]//2021 IEEE/ACM 43rd International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP). IEEE, 2021: 111-120.
  • [6] Böhme M, Soremekun E O, Chattopadhyay S, et al. Where is the bug and how is it fixed? an experiment with practitioners[C]//Proceedings of the 2017 11th joint meeting on foundations of software engineering. 2017: 117-128.
  • [7] Lu S, Guo D, Ren S, et al. Codexglue: A machine learning benchmark dataset for code understanding and generation[J]. arXiv preprint arXiv:2102.04664, 2021.

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: