隐状态基因组学：基于图的基因组语言模型稀疏自编码器特征激活分析

内容形式：摘要译文

预训练基因组语言模型（gLM）的表征被认为有望提升多种基因组学任务中的深度学习预测能力，但当前的基准测试结果引发了疑问：这些表征实际编码了什么。我们采用机制可解释性方法研究这一问题，针对 InstaDeep 的 Nucleotide Transformer v2（500M）在全部 24 个编码器层上训练稀疏自编码器（SAE），以探查其潜在特征。基于相关性的注释与参考调控轨迹之间，在不同层上的一致性不足，也无法支持因果解释。因此，我们构建了类型化的序列到特征知识图谱，以探索 SAE 特征空间，并通过 PageRank 中心性比较顺铂结合与非结合基因组 DNA 序列社区；随后利用基于解码器的干预和 CNN 结合分类器验证候选特征。干预结果显示出不对称效应：抑制性特征可能使预测信号崩塌，而与结合相关的特征则会随着其他结合相关信号的存在而累积改变预测结果。依赖关系图进一步表明，序列内部的特征敏感性具有很强的局部性。总体而言，这些结果表明，gLM 表征编码了高度精细的序列语法和保守性模式；相较于复杂、分布式的调控逻辑，这些表征与紧密耦合的分子相互作用及局部生物物理约束的关联更强。在本研究的干预设置范围内，这种模式与模型在部分分子任务上表现更强、在更广泛的调控推断任务上表现较弱的情况相符，也凸显了开发可扩展因果特征注释方法的必要性。

关键词：基因组语言模型 · 机制可解释性 · 稀疏自编码器 · 知识图谱 · 序列语法 · 分子相互作用

原文链接：https://www.biorxiv.org/content/10.64898/2026.05.13.725007v1?rss=1