- 5 次围观
单细胞基础模型正日益被定位为“虚拟细胞”，然而，对其能力的评估仍依赖于碎片化、且大多仅针对单一任务的基准测试，这掩盖了这些模型究竟在哪些方面真正优于简单基线。VCBench 通过综合四个相互独立的虚拟细胞框架，将其归纳为七个能力维度：扰动响应预测、跨物种普适性、基因调控网络（GRN）推断、模态整合、时间动态、多尺度整合以及硅基实验。对于每个维度，我们均评估了其在当前架构与数据集条件下的可操作测试性：其中五个维度可以进行直接评估或代理评估，而多尺度整合和硅基实验作为端到端任务在结构上不可测试。 我们在五个可测试维度上，将五种基础模型（Geneformer、scGPT、UCE、TranscriptFormer、Arc State）与预注册的线性基线和最近邻基线进行了比较，并报告了三项发现。第一，在五个评分维度中的四个维度上，基线模型均能够匹配甚至超过所有基础模型，这不仅复现了既有研究中关于线性基线在扰动预测任务上具有竞争力的结论，还将这一结论扩展到了跨物种迁移、GRN 推断和时间排序任务。第二，仅有 TranscriptFormer 在跨模态 RNA 到蛋白质预测任务上超过了最强基线（Pearson 相关提升 53%，但存在已记录的数据污染警示），并且它是唯一一个在预注册的虚拟细胞（VC）等级量表中达到 Level 2 的模型；然而，支撑这一优势的架构选择也同时导致了谱坍塌，从而破坏了其时间排序性能，这种权衡在单任务基准中是不可见的。第三，没有任何基础模型公开完整的细胞级训练清单，因此用户无法检测数据污染。 除基准本身外，VCBench 还发布了一个污染报告模式（Contamination Reporting Schema），并贡献了另外两项方法学工具：一种用于控制跨物种迁移中类别数量混杂因素的公共标签集协议，以及一种用于认识论校准的扩散误差相关性探针。
搜索该网站上的此作者
摘要
信息/历史
指标
数据/代码
预览 PDF
摘要
单细胞基础模型正日益被定位为“虚拟细胞”，然而，对其能力的评估仍依赖于零散的、且大多为单任务的基准测试，这掩盖了这些模型相对于简单基线究竟在哪些方面有所改进。VCBench 通过综合四种相互独立的虚拟细胞框架，提出了七个能力维度：扰动响应预测、跨物种通用性、基因调控网络（GRN）推断、模态整合、时间动态、多尺度整合以及 in silico 实验。对于每个维度，均根据当前架构与数据集评估其操作层面的可测试性：其中五个维度可进行直接评估或代理评估，而多尺度整合和 in silico 实验在结构上无法作为端到端任务进行测试。我们在这五个可测试维度上，将五种基础模型（Geneformer、scGPT、UCE、TranscriptFormer、Arc State）与预注册的线性基线和最近邻基线进行比较评估，并报告了三项发现。第一，在五个评分维度中的四个维度上，这些基线与所有基础模型表现相当或更优，这不仅复现了在线性基线在扰动预测方面具有竞争力的既有结论，还将这一结论扩展到跨物种迁移、GRN 推断和时间排序。第二，仅有 TranscriptFormer 在跨模态 RNA 到蛋白质预测中超越了最强基线（Pearson 相关提升 53%，但存在已记录的数据污染警示），并且它是唯一在预注册的虚拟细胞（VC）等级量表中达到 2 级的模型；支撑这一优势的架构选择同时也导致了谱坍缩，从而破坏了其时间排序性能，而这种权衡在单任务基准中是不可见的。第三，没有任何基础模型公布完整的细胞层级训练清单，导致用户无法检测数据污染。除基准持有人为作者/资助方，其已授予 bioRxiv 永久展示该预印本的许可。
本文依据
CC-BY 4.0 国际许可协议
公开提供。
返回顶部
上一篇
下一篇
发布于 2026 年 6 月 23 日。
下载 PDF
数据/代码
电子邮件
感谢您有兴趣帮助传播 bioRxiv。
您的电子邮件
*
您的姓名
*
发送给
*
请输入多个地址（每行一个），或用逗号分隔。
您将通过电子邮件发送以下内容
VCBench：单细胞基础模型的多维基准
消息主题
（您的姓名）已从 bioRxiv 向您转发了一个页面
消息正文
（您的姓名）认为您可能会想看看 bioRxiv 网站上的这个页面。
您的个人留言
验证码
此问题用于测试您是否为人类访问者，并防止自动垃圾信息提交。
分享
VCBench：单细胞基础模型的多维基准
Lukas S. Weidener，
Marko Brkic，
Mihailo Jovanovic，
Emre Ulgac，
Aakaash Meduri
bioRxiv
2026.06.18.733146；
doi：
https://doi.org/10.64898/2026.06.18.733146
分享本文：
复制
引文工具
VCBench：单细胞基础模型的多维基准
Lukas S. Weidener，
Marko Brkic，
Mihailo Jovanovic，
Emre Ulgac，
Aakaash Meduri
bioRxiv
2026.06.18.733146；
doi：
https://doi.org/10.64898/2026.06.18.733146
📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.06.18.733146v1?rss=1
🏷️ 单细胞基础模型 基准测试 扰动响应预测 跨物种迁移 基因调控网络 模态整合