[论文解读] OptimOTU: Taxonomically aware OTU clustering with optimized thresholds and a bioinformatics workflow for metabarcoding data

Brendan Furneaux, Sten Anslan+5 more|ArXiv.org|Feb 14, 2025

Environmental DNA in Biodiversity Studies被引用 3

一句话总结

OptimOTU 引入一个面向分类单元的 OTU 聚类算法，优化每个分类单元的阈值，并整合完整的 Illumina 代谢条码工作流，使大规模、多样数据集的处理具备可扩展性。

ABSTRACT

To turn environmentally derived metabarcoding data into community matrices for ecological analysis, sequences must first be clustered into operational taxonomic units (OTUs). This task is particularly complex for data including large numbers of taxa with incomplete reference libraries. OptimOTU offers a taxonomically aware approach to OTU clustering. It uses a set of taxonomically identified reference sequences to choose optimal genetic distance thresholds for grouping each ancestor taxon into clusters which most closely match its descendant taxa. Then, query sequences are clustered according to preliminary taxonomic identifications and the optimized thresholds for their ancestor taxon. The process follows the taxonomic hierarchy, resulting in a full taxonomic classification of all the query sequences into named taxonomic groups as well as placeholder "pseudotaxa" which accommodate the sequences that could not be classified to a named taxon at the corresponding rank. The OptimOTU clustering algorithm is implemented as an R package, with computationally intensive steps implemented in C++ for speed, and incorporating open-source libraries for pairwise sequence alignment. Distances may also be calculated externally, and may be read from a UNIX pipe, allowing clustering of large datasets where the full distance matrix would be inconveniently large to store in memory. The OptimOTU bioinformatics pipeline includes a full workflow for paired-end Illumina sequencing data that incorporates quality filtering, denoising, artifact removal, taxonomic classification, and OTU clustering with OptimOTU. The OptimOTU pipeline is developed for use on high performance computing clusters, and scales to datasets with millions of reads per sample, and tens of thousands of samples.

研究动机与目标

• 通过考虑分类单元特定的遗传变异和不完全的参考文献库，推动改进 OTU 聚类。
• 开发一种能够对每个祖先分类单元优化聚类阈值以更好匹配分类学的算法。
• 提供一个从原始读数到分类信息明确的 OTU 以及占位伪分类单元的全流程、可扩展管线。
• 实现与现有的分类鉴定工具和开源距离度量的集成，以提高效率。

提出的方法

• 提出 OptimOTU 聚类算法，包含三个阶段：阈值优化、初步分类鉴定、以及分层聚类。
• 通过比较跨等级的分类分区，使用 AMI（Adjusted Mutual Information，调整互信息）来确定与等级相关的截断阈值，从而优化阈值。
• 使用带有分类学引导的分层结构对查询进行聚类，涵盖封闭参考（closed-reference）和去俗新生（de novo）步骤，输出命名的分类单元与伪分类单元。
• 通过多种内部方法（汉明距离、Edlib、WFA2）或外部距离矩阵实现距离计算，支持为提高性能集成 USEARCH 的选项。
• 以基于树的聚类算法作为默认，并提供并行化策略，包括并行、合并与分层模式。
• 将聚类封装为端到端的 OptimOTU 管线，处理成对 Illumina 数据，包括质量筛选、去噪、去除嵌合体以及带有分类学引导的聚类。

实验结果

研究问题

• RQ1 带有按等级优化的、面向分类单元的阈值设定是否能在不同分类群中相较于单阈值方法提升 OTU 聚类的准确性？
• RQ2 在参考文献库不完整的数据集中，纳入初步的分类鉴定对聚类效率和准确性有何影响？
• RQ3 与传统工作流相比，OptimOTU 在大规模代谢条码数据集（数百万读数、众多样本）上的性能与可扩展性特征如何？
• RQ4 不同距离计算与聚类配置如何影响得到的 OTU 分区及下游生态分析？

主要发现

• OptimOTU 通过对祖先分类单元使用优化阈值实现有分类学引导的聚类，在各等级上与分类学的一致性有所提升。
• 该管线集成了质量筛选、去噪、伪影移除与分层聚类，在需要时输出命名的分类单元与伪分类单元。
• 聚类支持大规模数据集并可在 HPC 集群上处理，默认采用基于树的算法并提供多种并行化策略。
• 距离可以内部计算或从外部源读取，针对复杂标记（如 ITS）还提供基于 USEARCH 的加速选项。
• 该工作流提供从原始读数到 OTU 级分类分配的完整 Illumina 双端管线，适用于真菌 ITS2 和 寡核苷酸 COI 的分析。