长上下文基因组语言模型在生物合成基因簇上的基准测试

自然语言处理领域语言模型的最新进展已扩展至基因组学，推动了基因组语言模型（gLM）的发展，以解读基因组信息。前沿的长上下文 gLM 为理解和设计生物复杂性提供了有前景的方法，但针对它们的评估仍不够完善。本研究提出 BGCs-Bench，这是一个以生物合成基因簇为重点的统一基准，用于评估长程基因组建模在三项下游任务中的表现：生物合成类别预测、分类学分类和编码序列注释。我们利用 BGCs-Bench 对长上下文 gLM 的嵌入表征进行了系统性、逐层评估，结果表明，层的选择对下游任务表现至关重要。除评估结果外，自回归 gLM 的 logit lens 分析表明，基于 StripedHyena 的模型通过较早的层从输入 DNA 序列中编码具有生物学意义的信息，并通过较深的层优化嵌入以生成序列。这些发现为更有效地开发和应用长上下文 gLM 提供了参考。

Takuji Yamada 是 Metagen Inc.、Metagen Therapeutics Inc. 和 digzyme Inc. 的创始人。Metagen Inc. 致力于设计和调控肠道环境，以促进人类健康。Metagen Therapeutics Inc. 致力于利用微生物组科学开展药物发现与开发。上述公司均未参与本研究的结果解读、撰写或发表决策。东京科学大学依据其利益冲突政策对这些安排进行管理。

感谢您有意传播 bioRxiv 的相关信息。

注意：您的电子邮件…

提供地址仅用于确认您是本文的发送者。

关键词：基因组语言模型 · 长上下文建模 · 生物合成基因簇 · 基准测试 · 序列注释

原文链接：https://www.biorxiv.org/content/10.64898/2026.05.12.724296v1?rss=1