通过权重锁定保护开放权重基因组基础模型

由 root 提交于 周日, 07/12/2026 - 04:47
背景。基因组基础模型能够通过学习可迁移于不同任务的通用基因组数据表征,显著加速生物学研究,使研究人员能够预测变异效应、调控元件、分子功能等。为防范潜在的生物安全威胁以及开放权重模型的恶意滥用,一种常见策略是在模型训练语料中排除可感染人类的病毒基因组。然而,这一策略可以通过利用大量可获得的病毒数据对模型进行微调而轻易规避。采用谱形变的权重锁定已被提出作为防止神经网络被微调的一种潜在方法,但尚未在生物人工智能模型中得到系统评估。 方法。我们将谱形变锁定应用于 Evo-1-8k-base 基因组基础模型,并评估了一组攻击配置,包括朴素微调、低秩适配(LoRA)、一种简单的插入层绕过基线方法,以及链长度 k ∈ {2, 3, 5} 的白盒奇异值分解(SVD)链式因子分解。恢复的病毒学能力通过三项 Human Virome Understanding Evaluation(HVUE)任务进行量化。 结果。该锁定机制通过任一标准流程都能防御朴素攻击者。在强锁定条件下,朴素的全参数微调使下游病毒学能力在致病性和宿主嗜性任务上显著低于预训练基线,将攻击从能力提升转变为能力损失;而朴素的低秩适配既未改变留出集困惑度(PPL),也未使下游能力恢复到高于预训练水平。因此,我们得出结论:无论采用哪一种路径,朴素攻击者都无法达到对未锁定模型进行微调所实现的能力增益。与先前在非生物模型中的结果一致,实施 SVD 链式构造的知情攻击者确实能够恢复致病性预测能力,但代价是微调过程的计算需求增加。

georgakopoulos.soares{at}gmail.com

摘要

信息/历史

指标

数据/代码

预览 PDF

摘要

背景。基因组基础模型能够通过学习可迁移至不同任务的基因组数据通用表征,显著加速生物学研究,使研究人员能够预测变异效应、调控元件、分子功能等。为防范潜在的生物安全威胁以及开放权重模型的恶意滥用,一种常见策略是在模型训练语料中排除可感染人类的病毒基因组。然而,这一策略可以通过在大量可获取的病毒数据上对模型进行微调而轻易规避。采用谱形变的权重锁定已被提出作为防止神经网络被微调的一种潜在方法,但尚未在生物人工智能模型中得到系统评估。

方法。我们将谱形变锁定应用于 Evo-1-8k-base 基因组基础模型,并评估了一组攻击配置,包括朴素微调、低秩适配(LoRA)、一个简单的插入层绕过基线,以及在链长度 k ∈ {2, 3, 5} 条件下的白盒奇异值分解(SVD)链式因子分解。在三项 Human Virome Understanding Evaluation(HVUE)任务上,对恢复的病毒学能力进行了量化。

结果。无论采用哪一种标准流程,该锁定机制都能够抵御朴素攻击者。在强锁条件下,朴素的全参数微调使下游病毒学能力在致病性和宿主嗜性任务上显著低于预训练基线,将攻击转化为能力损失而非能力增益;而朴素的低秩适配既未改变留出集困惑度(PPL),也未能将下游能力恢复到高于预训练模型的水平。因此,我们得出结论:无论通过哪一种路径,朴素攻击者都无法达到对未锁定模型进行微调所获得的能力增益。与此前在非生物学模型中的结果一致,实施 SVD-chain 构造的知情攻击者确实能够恢复致病性预测能力,但代价是微调过程的计算需求增加。

利益冲突声明 脚注 https://huggingface.co/datasets/duttaprat/HVUE

已声明资助信息 美国国立卫生研究院下属国家普通医学科学研究所 R35GM155468

版权 持有人为作者/资助方,其已授予 bioRxiv 永久展示该预印本的许可。 本文依据 CC-BY 4.0 国际许可协议 公开提供。

返回顶部 上一页 下一页

发布于 2026 年 7 月 10 日。 下载 PDF 数据/代码 电子邮件

感谢您有意帮助传播 bioRxiv。 您的电子邮件 *

您的姓名 *

发送至 *

请输入多个地址,每行一个,或用逗号分隔。

您将发送以下内容的电子邮件 通过权重锁定保护开放权重基因组基础模型

邮件主题 (您的姓名)已从 bioRxiv 转发了一个页面给您

邮件正文 (您的姓名)认为您可能希望查看 bioRxiv 网站上的此页面。

您的个人留言

验证码 此问题用于测试您是否为真人访客,并防止自动垃圾信息提交。

分享 通过权重锁定保护开放权重基因组基础模型

Aris Karatzikos, Aggeliki Vasilopoulou, Candace Chan, Ioannis Mouratidis, Ilias Georgakopoulos-Soares

bioRxiv 2026.07.07.736795; doi: https://doi.org/10.64898/2026.07.07.736795

分享本文: 复制

引文工具 通过权重锁定保护开放权重基因组基础模型

Aris Karatzikos, Aggeliki Vasilopoulou, Candace Chan, Ioannis Mouratidis, Ilias Georgakopoulos-Soares

bioRxiv 2026.07.07.736795; doi: https://doi.org/10.64898/2026.07.07.736795


📄 原文链接:https://www.biorxiv.org/content/10.64898/2026.07.07.736795v1?rss=1

🏷️ 基因组基础模型 模型安全 权重锁定 微调攻击 生物安全