- 6 次围观
基因治疗设计依赖于识别能够驱动适当表达水平、表达时序和细胞类型特异性的调控序列。调控 DNA 模型提供了一种方法，可在将候选序列投入生物学测试之前，先通过计算对其进行优先级排序。生物学验证涉及 DNA 合成、克隆、细胞培养、测序和功能筛选，因此训练计算是同一受限发现流程的一部分，而非孤立的建模开销。降低达到目标预训练质量所需的计算量，可能会将时间和预算转移到更大规模的候选筛选、更多的检测实验、更多的细胞背景以及更广泛的后续验证上。鉴于 Adam 类优化器被广泛用于训练基因组序列模型，我们研究了 Muon 是否能够为调控 DNA 预训练提供一种计算效率更高的替代方案。我们通过在 ENCODE 顺式调控序列上训练 Transformer 模型（参数规模为 2600 万至 4.2 亿），并在固定架构、数据和非优化器超参数的同时，改变优化器类别、范数控制方案、学习率和模型宽度，对 Adam 和 Muon 进行了深入分析。在最大规模的匹配目标比较中，Muon 在达到与 Adam 匹配的困惑度目标时，FLOP 中位数减少了 35.4%，壁钟时间中位数减少了 38.5%。进一步分析表明，优化器的优劣排序依赖于范数控制：在该设定下，独立权重衰减与 Muon 的配合优于 Hyperball。这些发现表明，在调控 DNA 预训练中，优化器更新结构和范数控制选择是降低达到匹配困惑度目标所需训练资源的切实可行的调节手段。
在该网站上搜索这位作者
摘要
信息/历史
指标
预览 PDF
摘要
基因治疗设计依赖于识别能够驱动恰当表达水平、时序以及细胞类型特异性的调控序列。调控 DNA 模型提供了一种在将候选序列投入生物学测试之前，对其进行计算优先级排序的方法。生物学验证涉及 DNA 合成、克隆、细胞培养、测序和功能筛选，因此训练计算是同一受限发现流程的一部分，而非孤立的建模开销。降低达到目标预训练质量所需的计算量，可能会将时间和预算转向更大规模的候选筛选、更多检测、更多细胞背景以及更广泛的后续验证。鉴于 Adam 风格优化器被广泛用于训练基因组序列模型，我们研究了 Muon 是否能够为调控 DNA 预训练提供一种计算效率更高的替代方案。我们通过在 ENCODE 顺式调控序列上使用 Adam 和 Muon 训练 Transformer 模型（参数量为 2600 万至 4.2 亿），并在固定架构、数据和非优化器超参数的同时改变优化器类别、范数控制方案、学习率和模型宽度，进行了深入分析。在最大规模的匹配目标比较中，Muon 在达到与 Adam 匹配的困惑度目标时，FLOP 的中位数减少了 35.4%，挂钟时间的中位数减少了 38.5%。进一步分析表明，优化器的排序取决于范数控制：在此设定下，独立权重衰减与 Muon 的搭配比与 Hyperball 的搭配更为有利。这些发现表明，在调控 DNA 预训练中，优化器更新结构和范数控制选择是减少达到匹配困惑度目标所需训练资源的实用杠杆。
利益冲突声明
版权
持有人为作者/资助方，其已授予 bioRxiv 永久展示该预印本的许可。
本文依据
CC-BY 4.0 国际许可协议
提供使用。
返回顶部
上一页
下一页
发布于 2026 年 7 月 22 日。
下载 PDF
电子邮件
您的电子邮件
*
您的姓名
*
发送给
*
输入多个地址时，请分行填写或用逗号分隔。
您将要通过电子邮件发送以下内容
Muon 降低调控 DNA Transformer 的训练成本
邮件主题
（您的姓名）已向您转发 bioRxiv 上的一个页面
邮件正文
（您的姓名）认为您可能希望查看 bioRxiv 网站上的这个页面。
您的个人留言
验证码
此问题用于测试您是否为人类访客，并防止自动垃圾信息提交。
分享
Muon 降低调控 DNA Transformer 的训练成本
Viraj
Doshi
，
Malhar
Bhide
，
Akshat
Singh
，
Yash
Rathod
，
Aditya
Sivakumar
bioRxiv
2026.07.17.739267；
doi：
https://doi.org/10.64898/2026.07.17.739267
分享本文：
复制
引文工具
Muon 降低调控 DNA Transformer 的训练成本
Viraj
Doshi
，
Malhar
Bhide
，
Akshat
Singh
，
Yash
Rathod
，
Aditya
Sivakumar
bioRxiv
2026.07.17.739267；
doi：
https://doi.org/10.64898/2026.07.17.739267
📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.07.17.739267v1?rss=1
🏷️ 调控DNA Transformer模型 预训练优化 Muon优化器 ENCODE顺式调控序列 基因治疗设计