VariantFlow:面向大规模变异数据集的高效群体基因组学计算选择性执行引擎

root 提交于 周六, 09/05/2026 - 20:47
群体规模测序如今能够生成包含数千个样本和数百万个位点的变异调用集,使得调用后的分析反复成为瓶颈。由于变异调用格式(Variant Call Format,VCF)将每条记录的所有字段存储在一起,因此,即使工具只需回答一个字段受限的问题,仍然需要解析未使用的注释、FORMAT区块以及逐样本数值,这会增加耗时,却不会改变结果。我们提出了VariantFlow,这是一种基于选择性执行构建的命令行引擎,仅解码当前筛选条件、统计量或投影所需的字段,并在可能的情况下保留原始记录。在结果一致性匹配的基准测试中,基于包含3,202个样本的1000 Genomes高覆盖度数据集,VariantFlow以恒定的8.6 MB内存,将整条染色体的缺失率计算速度提升至VCFtools的8.0–8.5倍;其中,染色体1的汇总计算耗时128秒,而VCFtools耗时1031秒。当区块元数据排除了文件中的大部分内容时,借助索引的FILTER=PASS谓词执行速度比bcftools快123–273倍。表1进一步报告了其他性能提升,包括针对记录子集的富FORMAT字段筛选、连锁不平衡分析,以及通过DuckDB执行的一次导出Parquet查询。核心群体遗传学输出与VCFtools逐字节一致,个体缺失率和位点频率谱与scikit-allel完全匹配,考虑缺失数据的π和dxy估计量则在每个窗口中均重现了pixy的成对计数结果。通过仅解码每项操作所需的字段,VariantFlow使得大规模队列的调用后分析能够在单台工作站上开展探索性工作。它并非旨在取代bcftools、HTSlib、GATK和VCFtools,而是对这些工具形成补充;凡是需要反复汇总、筛选或导出大规模队列VCF文件的场景,均可从中受益。VariantFlow以开源形式发布(Rust,MIT或Apache-2.0许可证),项目地址为https://github.com/ehsanestaji/VariantFlow;1.5.0版本已存档于doi:10.5281/zenodo.21198172。

VariantFlow:一种用于大型变异数据集高效群体基因组学计算的选择性执行引擎 | bioRxiv

跳转至主要内容

主页

关于

投稿

提醒 / RSS

搜索此关键词

高级搜索

最新结果

VariantFlow:一种用于大型变异数据集高效群体基因组学计算的选择性执行引擎

Ehsan Estaji ,

查看 ORCID 个人资料

Jian-Feng Mao

doi:

https://doi.org/10.64898/2026.09.01.748643

Ehsan Estaji

于默奥植物科学中心,植物生理学系,于默奥大学,SE-901 87,于默奥,瑞典

在 Google Scholar 中查找该作者

在 PubMed 中查找该作者

在持有人为作者/资助方,其已授予 bioRxiv 永久展示该预印本的许可。

该文根据

CC-BY 4.0 国际许可协议

公开发布。

返回顶部

上一页

下一页

发表于 2026 年 9 月 4 日。

下载 PDF

补充材料

数据/代码

电子邮件

感谢您有兴趣传播 bioRxiv 的相关信息。

您的电子邮件地址

*

您的姓名

*

发送至

*

请输入多个地址,每行一个,或使用逗号分隔。

您即将发送以下内容

VariantFlow:一种用于大型变异数据集高效群体基因组学计算的选择性执行引擎

邮件主题:(您的姓名)已从 bioRxiv 向您转发一个页面

邮件正文:(您的姓名)认为您可能会对 bioRxiv 网站上的这一页面感兴趣。

您的个人留言

验证码

此问题用于测试您是否为真实访客,并防止自动垃圾邮件提交。

分享

VariantFlow:一种用于大型变异数据集高效群体基因组学计算的选择性执行引擎

Ehsan Estaji ,

Jian-Feng Mao

bioRxiv

2026.09.01.748643;

doi:

https://doi.org/10.64898/2026.09.01.748643

分享本文:

复制

引文工具

VariantFlow:一种用于大型变异数据集高效群体基因组学计算的选择性执行引擎

Ehsan Estaji ,

Jian-Feng Mao

bioRxiv

2026.09.01.748643;

doi:

https://doi.org/10.64898/2026.09.01.748643


📄 原文链接:https://www.biorxiv.org/content/10.64898/2026.09.01.748643v1?rss=1

🏷️ 群体基因组学 变异数据分析 选择性执行 VCF格式 高性能计算 生物信息学软件