- 3 次围观
核糖核酸(RNA)在基因表达、调控和催化过程中发挥核心作用,并已成为治疗设计的重要靶标。近年来,RNA基础模型在表征学习任务中取得了优异表现,但能够在同一框架内同时支持原生序列生成与可迁移表征学习的方法仍相对有限。我们提出B-RANKO,这是一种拥有1.5亿参数的双向、仅解码器型非编码RNA基础模型。该模型引入了一种新颖的双向自回归注意力机制,使单一架构能够同时支持从头序列生成和表征学习。B-RANKO在基于RNAcentral、Rfam和GARNET构建的大规模语料库上进行预训练,能够生成在生物学上合理、在热力学上符合实际的RNA序列;与预训练语料库中最相近的序列相比,这些生成序列具有较强的新颖性。我们进一步表明,B-RANKO可通过高效微调用于适配体生成,并在BEACON基准测试中取得具有竞争力的表现,尤其在RNA工程任务上表现突出。B-RANKO已在GitHub上公开发布,地址为filipvucenik/B-RANKO;该仓库还提供使用示例,以及模型权重和数据集的下载说明。
Mile Šikić 的 ORCID 记录
摘要
信息/历史记录
指标
补充材料
PDF 预览
摘要
核糖核酸(RNA)在基因表达、调控和催化过程中发挥核心作用,并已成为治疗设计的重要靶点。尽管近年来的 RNA 基础模型在表征学习任务中表现出色,但支持在单一框架内兼顾原生序列生成与可迁移表征学习的方法仍然较少。我们提出 B-RANKO,这是一种拥有 1.5 亿参数的双向、仅解码器型非编码 RNA 基础模型。该模型引入了一种新颖的双向自回归注意力机制,使单一架构能够同时支持从头序列生成与表征学习。B-RANKO 在一个由 RNAcentral、Rfam 和 GARNET 汇集而成的大型语料库上进行预训练,能够生成具有生物学合理性和热力学真实性的 RNA 序列;与预训练语料库中最相近的序列相比,这些生成序列具有较高的新颖性。我们进一步表明,B-RANKO 可通过高效微调用于适配体生成,并在 BEACON 基准测试中取得了具有竞争力的表现,尤其在 RNA 工程任务上表现突出。B-RANKO 已在 GitHub 上公开发布,地址为 filipvucenik/B-RANKO,同时提供使用示例以及模型权重和数据集的下载说明。
利益冲突声明
作者声明不存在利益冲突。
已声明的资助信息
克罗地亚科学基金会
IP-2024-05-1554
版权
本预印本的版权归作者/资助方所有;其已授予 bioRxiv 永久展示该预印本的许可。
该预印本依据 CC-BY 4.0 国际许可协议提供。
返回顶部
上一篇
下一篇
发布于 2026 年 11 月 16 日。
下载 PDF
补充材料
电子邮件
感谢您有意帮助宣传 bioRxiv。
注意:我们仅要求提供您的电子邮箱地址,以便确认您是本文的发送者。
您的电子邮箱
*
您的姓名
*
发送给
*
请在不同的行中输入多个电子邮箱地址,或用逗号分隔。
您将通过电子邮件发送以下内容
B-RANKO:一种采用双向仅解码器架构的 ncRNA 基础模型
邮件主题
(您的姓名)已从 bioRxiv 向您转发了一个页面
邮件正文
(您的姓名)认为您可能会想查看 bioRxiv 网站上的这个页面。
您的个人留言
验证码
此问题用于测试您是否为人类访客,并防止自动垃圾信息提交。
分享
B-RANKO:一种采用双向仅解码器架构的 ncRNA 基础模型
Filip
Vučenik
,
Rafael Josip
Penić
,
Mile
Šikić
bioRxiv
2026.11.12.766109;
doi:
https://doi.org/10.64898/2026.11.12.766109
分享本文:
复制
引用工具
B-RANKO:一种采用双向仅解码器架构的 ncRNA 基础模型
Filip
Vučenik
,
Rafael Josip
Penić
,
Mile
Šikić
bioRxiv
2026.11.12.766109;
doi:
https://doi.org/10.64898/2026.11.12.766109
引用管理器格式
BibTeX
Bookends
EasyBib
EndNote(tagged)
EndNote 8(xml)
Medlars
Mendeley
Papers
RefWorks Tagged
Ref Manager
RIS
Zotero
推文组件
Facebook 点赞
Google +1
学科领域
所有文章
动物行为与认知(8164)
生物化学(19027)
生物工程(15171)
生物信息学(46004)
生物物理学(22958)
癌症生物学(20314)
细胞生物学(27590)
临床试验(138)
发育生物学(14279)
生态学(21600)
流行病学(2067)
进化生物学(26010)
遗传学(16467)
基因组学(24060)
免疫学(19243)
微生物学(43625)
分子生物学(18547)
神经科学(96153)
古生物学(718)
病理学(3074)
药理学与毒理学
(5270)
生理学
(8369)
植物生物学
(16436)
科学传播与教育
(2124)
合成生物学
(4691)
系统生物学
(10477)
动物学
(2441)
关键词:非编码RNA · RNA基础模型 · 双向自回归注意力 · RNA序列生成 · 表征学习 · 适配体设计
原文链接:https://www.biorxiv.org/content/10.64898/2026.11.12.766109v1?rss=1