故障基因：嵌入几何可预测单细胞基础模型中的功能脆弱性

背景：单细胞基础模型正越来越多地用于扰动预测和基因网络推断，但其学习到的基因表征很少被直接审计。在自然语言处理中，对词元嵌入的几何分析揭示了与模型异常行为相关的异常“故障词元”。生物学基础模型中是否存在类似的表征异常，仍然未知。 结果：本研究提出了一种仅基于权重的几何审计框架，通过嵌入范数、质心距离、余弦相似度和孤立度对基因进行评分，以识别表征离群点。将该方法应用于 Geneformer、scGPT 和 scFoundation 后，分析在离散词元化模型中识别出数百个离群点。Geneformer 与 scGPT 共享的离群基因显著富集于功能缺失不耐受性（OR=12.0）和疾病关联（OR=3.7），而 scFoundation 的连续值嵌入则形成近各向同性空间，在所测试的注释面板下未检测到显著富集。在 Geneformer 中，几何异常可预测扰动敏感性（{rho}=0.725）；这一信号得到原位掩码实验的支持，在真实 PBMC 细胞中表现出排序一致性，并与 Replogle perturb-seq 效应大小相关（{rho}=0.645）。指标分解进一步区分出由幅值驱动的离群点和由孤立度驱动的离群点：前者富集于高表达的看家基因，后者富集于组织限制性基因。 结论：词元化策略有助于决定哪些基因能够被可靠表征。嵌入几何提供了一种快速、与模型无关的诊断方法，仅需嵌入矩阵即可实施，并能够在下游应用之前标记那些其表征需要谨慎对待的基因。

背景：单细胞基础模型正日益用于扰动预测和基因网络推断，但其所学习到的基因表征很少被直接审计。在自然语言处理中，对词元嵌入的几何分析已揭示出与模型异常行为相关的反常“故障词元”。生物学基础模型中是否存在类似的表征异常，仍属未知。

结果：本研究提出了一种仅基于权重的几何审计框架，通过嵌入范数、质心距离、余弦相似性和孤立度对基因进行评分，以识别表征离群点。将该框架应用于 Geneformer、scGPT 和 scFoundation 后，分析在离散词元化模型中识别出数百个离群点。Geneformer 与 scGPT 共享的离群基因显著富集于功能缺失不耐受性（OR=12.0）和疾病关联（OR=3.7），而 scFoundation 的连续数值嵌入则形成近各向同性空间，在所测试的注释面板下未检测到显著富集。在 Geneformer 中，几何异常可预测扰动敏感性（{rho}=0.725）；这一信号得到了原位掩蔽实验的支持，在真实 PBMC 细胞中表现出排序一致性，并与 Replogle perturb-seq 效应量相关（{rho}=0.645）。指标分解进一步区分了由幅值驱动的离群点和由孤立度驱动的离群点：前者富集于高表达的管家基因，后者则富集于组织限制性基因。

结论：词元化策略有助于决定哪些基因能够被可靠表征。嵌入几何提供了一种快速、与模型无关的诊断方法，仅需一个嵌入矩阵即可实施，并能在下游应用之前标记出那些其表征需要谨慎对待的基因。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.06.22.733850v1?rss=1

🏷️ 单细胞基础模型 嵌入几何 基因表征审计 扰动预测 功能脆弱性