Evo 2 作为分类器：来自上下文学习和机制可解释性的证据

上下文学习（in-context learning，iCL）是大型语言模型（Large Language Models，LLMs）的一种涌现能力，使其能够在推理时利用通过提示注入的示例执行新任务。尽管该能力已在大型语言模型中得到广泛研究，但其在基因组语言模型（genomic Language Models，gLMs）中的能力边界及其潜在机制仍缺乏充分刻画。在本研究中，我们针对涵盖生物序列与人工序列的五项二元分类任务，描绘了核苷酸级基础基因组语言模型 Evo 2 的工作区间。我们观察到，该模型在较短的天然序列上表现出稳健的上下文学习能力（miRNA 的 F1=0.902，毒素序列的 F1=0.785），但其性能随序列长度增加而下降，并在千碱基尺度上崩溃。值得注意的是，我们未发现模型规模扩展带来任何收益：7B 模型的表现系统性地优于 40B 模型。我们进一步发现，困惑度这一广泛用于衡量基因组语言模型性能的代理指标，对准确率的预测能力较弱。机制可解释性分析协调解释了上述观察结果：logit-lens 分析表明，模型在预测与泛化之间存在权衡；而 Jacobian Scope 则显示，模型可能追踪的是提示的结构，而非承载信号的内容。

上下文学习（in-context learning，iCL）是大型语言模型（Large Language Models，LLMs）的一种涌现能力，使其能够在推理时利用注入提示词中的示例执行新任务。尽管 iCL 已在 LLMs 中得到广泛研究，但其能力边界及潜在机制在基因组语言模型（genomic Language Models，gLMs）中仍缺乏充分表征。在本研究中，我们针对涵盖生物序列和人工序列的五项二分类任务，描绘了核苷酸级基础基因组语言模型 Evo 2 的工作范围。我们观察到，模型在较短的天然序列上表现出稳健的 iCL 能力（miRNA 的 F1=0.902，毒素序列的 F1=0.785），但随着序列长度增加，该能力逐渐下降，并在千碱基尺度上崩溃。值得注意的是，我们未发现模型规模扩大带来任何收益：7B 模型的表现系统性地优于 40B 变体。我们进一步发现，困惑度（perplexity）这一广泛用于评估 gLM 性能的代理指标，难以有效预测准确率。机制可解释性分析调和了上述观察结果：logit-lens 分析显示，模型在预测与泛化之间存在权衡；而雅可比矩阵分析（Jacobian Scope）表明，模型可能追踪的是提示词的结构，而非承载信号的内容。

感谢您有意帮助传播 bioRxiv 的相关信息。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.09.30.755330v1?rss=1

🏷️ 基因组语言模型 上下文学习 二元分类 机制可解释性 核苷酸序列分析