[论文解读] Twelve years of SAMtools and BCFtools

Petr Danecek, James Bonfield+9 more|arXiv (Cornell University)|Dec 18, 2020

Genomics and Phylogenetic Studies参考文献 19被引用 2

一句话总结

本文回顾了SAMtools和BCFtools在过去十二年中的发展，这两个工具是处理高通量测序数据的基础生物信息学工具。这些工具支持对SAM/BAM/CRAM比对文件和VCF/BCF变异文件的高效操作，关键进展包括原生多线程支持、CRAM格式支持以及与HTSlib的集成。核心贡献在于一个成熟、高性能且被广泛采用的生态系统，已用于数百万次分析。

ABSTRACT

BACKGROUND: SAMtools and BCFtools are widely used programs for processing and analysing high-throughput sequencing data. They include tools for file format conversion and manipulation, sorting, querying, statistics, variant calling, and effect analysis amongst other methods. FINDINGS: The first version appeared online 12 years ago and has been maintained and further developed ever since, with many new features and improvements added over the years. The SAMtools and BCFtools packages represent a unique collection of tools that have been used in numerous other software projects and countless genomic pipelines. CONCLUSION: Both SAMtools and BCFtools are freely available on GitHub under the permissive MIT licence, free for both non-commercial and commercial use. Both packages have been installed >1 million times via Bioconda. The source code and documentation are available from https://www.htslib.org.

研究动机与目标

• 记录SAMtools和BCFtools在过去十二年持续维护中功能演进与发展的历程。
• 突出展示使这些工具能够高效处理日益庞大的测序数据集的技术进步。
• 展示这些工具在各类基因组项目和软件生态系统中的采用与集成情况。
• 概述未来面临的挑战及计划扩展功能，包括对大型基因组和复杂变异表示的支持。

提出的方法

• 作者通过分析GitHub上的版本控制提交记录、功能发布版本以及用户反馈，对SAMtools和BCFtools的演进历程进行了回顾性研究。
• 通过基准测试核心操作（如排序、索引和变异检测）在多个发布版本中的表现，评估了性能改进情况。
• 这些工具使用C编程语言实现，并依赖HTSlib进行底层I/O和数据格式处理，从而实现高速度和低内存占用。
• 通过持续集成和自动化测试（包括Valgrind、AddressSanitizer和UndefinedBehaviorSanitizer）确保了代码的可靠性与可移植性。
• BCFtools中集成的插件和可扩展性功能，使功能得以动态扩展，例如功能后果预测和基于家系的变异分析。
• 在多种生物数据类型（包括脊椎动物、植物、病毒和病原体基因组）上部署并评估了这些工具，以检验其稳健性与可扩展性。

实验结果

研究问题

• RQ1 在十二年的开发过程中，SAMtools和BCFtools在功能和性能方面如何演变？
• RQ2 哪些架构决策使这些工具能够随着测序项目中数据规模和复杂性的增加而实现可扩展性？
• RQ3 与VEP和GATK等广泛使用的其他工具相比，SAMtools和BCFtools在性能和内存效率方面表现如何？
• RQ4 社区驱动的开发和开源贡献在塑造这些工具的功能集和可靠性方面发挥了什么作用？
• RQ5 在支持大型基因组、复杂变异和新型测序技术方面，仍面临哪些未来挑战？

主要发现

• SAMtools和BCFtools分别经历了52次和49次发布，SAMtools代码库提交超过2,200次，BCFtools包含超过1,400个测试用例。
• 这些工具现已原生支持多线程，用于读取、写入和处理SAM、BAM和CRAM文件，显著提升了现代硬件上的性能表现。
• BCFtools中的'csq'命令在变异效应预测方面比VEP快两个数量级，且内存占用远低于VEP，展现出极高的效率。
• 通过Bioconda平台，这些工具已安装超过一百万次，并已解决超过900个GitHub支持与功能请求。
• 这些工具已成功应用于多种物种，包括基因组大小超过2 Gbases和多倍体复杂的物种，尽管对64位基因组的完整支持仍不完全。
• 在BCFtools中已实现对VCF格式的扩展，通过线性缩放注释解决了高度多态区域中4GB位点限制的问题。