- 6 次围观
单细胞基础模型（single-cell foundation models, scFMs）使用与基因相关的标记序列来表征每个细胞，因此，随着细胞数量和表达基因数量的增长，嵌入提取的计算成本日益增加。现有输入策略通常依赖固定的输入预算，所保留的基因由随机子采样、模型原生排序或固定的数据集级高变基因（highly variable gene, HVG）面板决定。然而，这些方法并未同时为每个细胞确定应保留哪些基因以及应分配多少标记。我们提出了 AdaGeneBudget，这是一种无需训练的基因标记选择方法。该方法结合每个基因的表达量与基于参考数据推导的逆检测频率，并保留排序后最短的前缀，使其能够覆盖细胞表达特异性得分总量的目标比例。由此得到的细胞特异性预算受预定义最小和最大长度约束，无需细胞类型标签，且不改变预训练骨干模型。 我们在冻结骨干的推理设定下，使用预训练的 scGPT 和 Geneformer 模型，在 Kang 和 PBMC 参考映射任务上评估了 AdaGeneBudget，并额外在 scPRINT 中将其与官方 HVG 策略及仅保留已表达基因的 HVG 对照进行了比较。在四组 scGPT 和 Geneformer 的骨干模型—数据集组合中，AdaGeneBudget 在显著降低平均基因标记数量和峰值 GPU 显存占用的同时，将嵌入提取吞吐量最高提升了 4.63 倍。尽管进行了这种压缩，它仍然保持了原生水平的总体注释效用，并且持续优于在标记数匹配条件下的随机选择。AdaGeneBudget 还在压缩条件下保留了细粒度和低支持度的细胞身份，并维持了谱系标记程序和刺激相关通路基因。在 scPRINT 中，两种 HVG 对照在注释宏平均 F1 上表现更高，而 AdaGeneBudget 在保留刺激诱导的嵌入方向方面更为忠实。 这些结果表明，具有生物学信息引导的、细胞自适应的基因标记分配，可作为将现有 scFMs 应用于新数据集时，对架构层面和系统层面效率方法的一种实用补充。结果还提示了一种适用于未来在有限标记预算下运行模型的细胞自适应输入分配原则。
单细胞基础模型（single-cell foundation models, scFMs）使用与基因相关的词元序列来表征每个细胞，因此，随着细胞数量和表达基因数量的增长，嵌入提取的成本也日益增加。现有输入策略通常依赖固定的输入预算，所保留的基因由随机下采样、模型原生排序或固定的数据集层面高变基因（highly variable gene, HVG）面板决定。然而，这些方法并未联合确定：对于每个细胞，究竟应保留哪些基因，以及应分配多少词元。
我们提出了AdaGeneBudget，这是一种无需训练的基因词元选择方法。该方法将每个基因的表达量与基于参考数据导出的逆检测频率相结合，并保留排序后最短的前缀，使其能够捕获该细胞表达特异性评分总量中的目标比例。由此得到的细胞特异性预算受预定义的最小和最大长度约束，无需细胞类型标签，也无需改变预训练骨干模型。
我们在冻结骨干模型的推理设定下，对预训练的scGPT和Geneformer模型在Kang和PBMC参考映射任务上评估了AdaGeneBudget，并进一步在scPRINT中将其与官方HVG策略及仅保留已表达基因的HVG对照进行了比较。在四组scGPT和Geneformer骨干模型—数据集组合中，AdaGeneBudget显著降低了平均基因词元数量和GPU峰值显存占用，同时将嵌入提取吞吐量提升至最高4.63倍。尽管实现了这种压缩，它仍保持了与原生策略相当的总体注释效用，并且始终优于在词元数量匹配条件下的随机选择。
AdaGeneBudget还能够在压缩条件下保留细粒度且低支持度的细胞身份，并维持谱系标志基因程序和刺激相关通路基因。在scPRINT中，两种HVG对照在注释宏平均F1值方面表现更高，而AdaGeneBudget则在保留刺激诱导的嵌入方向方面更为忠实。
这些结果表明，具备生物学信息支撑、细胞自适应的基因词元分配，是将现有scFM应用于新数据集时，对架构层面和系统层面效率方法的一种切实可行的补充。这些结果还提示，针对在有限词元预算下运行的未来模型，细胞自适应的输入分配原则具有重要意义。
📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.08.06.743174v1?rss=1
🏷️ 单细胞基础模型 基因标记选择 自适应输入预算 参考映射 计算效率优化