自然语言与生物基础模型之间的非对称结构迁移

跨领域迁移是基础模型的一个定义性特征，然而这种迁移在不同领域之间是否具有对称性仍然未知。既有工作报告了从自然语言到生物序列的一种显著迁移现象：仅在英语结构任务上进行微调的语言模型，能够获得对蛋白质同源性判别的零样本能力。在此，我们提出相反且更一般性的问题：语言与生物学之间的结构迁移是否具有方向性，并对其进行了系统性回答。我们首先在受控条件下复现正向迁移（语言到生物学），随后从微调、等词元持续预训练、模型扩展、多个生物学基础模型家族（ESM-2、ProtBERT）以及对抗性合成结构任务等方面，评估反向方向（生物学到语言）的迁移。 反向迁移始终较弱：其效果既未超过匹配词元控制条件，也未随模型规模扩展而提升，且不具备泛化能力。在一个针对训练数据已知、架构匹配的 2×2 分析中——该分析消除了使大型模型研究结论变得模糊的预训练污染混杂因素——语言模型迁移到生物学领域时保留的能力，远多于生物学模型迁移到语言领域时所保留的能力（跨域性能下降分别为 0.08 和 0.36）。模型扩展非但没有缩小这一差距，反而使其进一步扩大：从语言到生物学的迁移随规模增大而增强，而从生物学到语言的迁移则衰减至接近随机水平，这一模式在两个相互独立的蛋白质模型家族中均得到体现。我们的研究结果表明，自然语言与生物序列之间共享的结构规律，并不意味着表征迁移具有对称性，而是揭示了基础模型跨领域学习中一种内在的方向性。

wangliang.f{at}gmail.com

摘要 信息/历史 指标 数据/代码 预览 PDF

摘要 跨领域迁移是基础模型的一个决定性特性，然而这种迁移在不同领域之间是否具有对称性仍然未知。既有研究报告了一种引人注目的从自然语言到生物序列的迁移：仅在英语结构任务上进行微调的语言模型，能够获得对蛋白质同源性判别的零样持有人为作者/资助方，其已授予 bioRxiv 永久展示该预印本的许可。 本文依据 CC-BY 4.0 国际许可协议 进行发布。

返回顶部 上一页 下一页

发表于 2026 年 7 月 13 日。

下载 PDF 数据/代码 电子邮件

感谢您有兴趣帮助传播 bioRxiv。 您的电子邮件 *

您的姓名 *

发送至 *

请输入多个地址，每行一个，或以逗号分隔。

您将要发送以下内容 自然语言与生物学基础模型之间的非对称结构迁移

邮件主题 （您的姓名）已从 bioRxiv 转发了一个页面给您

邮件正文 （您的姓名）认为您可能希望查看 bioRxiv 网站上的此页面。

您的个人留言

验证码 此问题用于测试您是否为人工访问者，并防止自动垃圾信息提交。

分享 自然语言与生物学基础模型之间的非对称结构迁移

Liang Wang

bioRxiv 2026.07.09.737502； doi： https://doi.org/10.64898/2026.07.09.737502

分享本文： 复制

引文工具 自然语言与生物学基础模型之间的非对称结构迁移

Liang Wang

bioRxiv 2026.07.09.737502； doi： https://doi.org/10.64898/2026.07.09.737502

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.07.09.737502v1?rss=1

🏷️ 基础模型 跨领域迁移 结构迁移 自然语言处理 蛋白质语言模型 模型扩展