- 4 次围观
研究动机：生物医学自然语言处理（Bio-NLP）分类任务通常受到人工标注成本的限制，尤其是在标注语料稀缺的专业化信息抽取问题中。主动学习可通过优先选择信息量高的样本来降低这一成本，而大语言模型（LLM）无需针对特定任务进行标注，但其计算成本较高。本研究探讨了这样一个问题：通过主动学习训练的编码器模型能否以更低的计算成本达到与大语言模型相当的性能。我们以从 PubMed 摘要中识别软骨形成调控因子为测试案例，该方法同样适用于其他标注不足的生物医学自然语言处理问题。 研究结果：我们构建了一个主动学习框架，对 PubMedBERT 进行微调，以将基因提及分类为软骨细胞分化调控因子。仅使用 1,238 个经标注的句子，即达到了 0.93 的 ROC 曲线下面积（AUC-ROC）。与开放权重大语言模型（Qwen3、Llama-3.1）相比，PubMedBERT 在 AUC-ROC 指标上达到了性能最佳的大语言模型的水平，并以 0.69 的精确率取得了所有模型中的最高成绩，同时能够更快速地完成整个语料库的分类。将该模型应用于 67,111 个基因提及时，识别出 1,128 个候选调控因子，找回了基因本体（Gene Ontology）中与软骨细胞分化相关的基因的 79%（共找回 94 个基因），并提出了 981 个新的候选基因。该流程与目标生物过程无关，表明其可适用于识别其他生物过程的调控因子。 可用性与实现：代码可从 https://github.com/ChondroTextomics/ALRegulatorDiscovery 获取。数据可从 Zenodo 获取：https://doi.org/10.5281/zenodo.22746090。最终模型可从 HuggingFace Hub 获取：amav/pubmedbert-chondrogenesis-classifier
一种通过主动学习发现软骨形成调控因子的低标注预算 PubMedBERT 分类器 | bioRxiv
跳转至主要内容
主页
关于
投稿
提醒 / RSS
搜索此关键词
高级搜索
最新结果
一种通过主动学习发现软骨形成调控因子的低标注预算 PubMedBERT 分类器
查看 ORCID 个人档案
Ana-Mariya Anhel
，
查看 ORCID 个人档案
Mandy Jayne Peffers
，
查看 ORCID 个人档案
David Young
，
查看 ORCID 个人档案
Jamie Soul
doi：
https://doi.org/10.64898/2026.09.24.754045
Ana-Mariya Anhel 1 利物浦大学；
在 Google Scholar 中查找该作者
在 PubMed 中查找该作者
在本网站搜索该作者
Ana-Mariya Anhel 的 ORCID 记录
Mandy Jayne Peffers 1 利物浦大学；
在 Google Scholar 中查找该作者
在 PubMed 中查找该作者
在本网站搜索该作者
Mandy Jayne Peffers 的 ORCID 记录
David Young 2 纽卡斯尔大学
在 Google Scholar 中查找该作者
在 PubMed 中查找该作者
在本网站搜索该作者
David Young 的 ORCID 记录
Jamie Soul 1 利物浦大学；
在 Google Scholar 中查找该作者
在 PubMed 中查找该作者
在本网站搜索该作者
Jamie Soul 的 ORCID 记录
通讯作者：
jamie.soul{at}liverpool.ac.uk
摘要
信息/历史
指标
补充材料
数据/代码
预览 PDF
摘要
研究动机：生物医学自然语言处理（Bio-NLP）分类任务通常受到人工标注成本的限制，尤其是在标注语料库稀缺的专门化信息提取问题中。主动学习能够通过优先选择信息量高的样本来降低这一成本，而大型语言模型（LLM）则无需针对具体任务进行标注，但其计算成本较高。本研究以从 PubMed 摘要中识别软骨形成调控因子为测试案例，探讨通过主动学习训练的编码器能否以更低的计算成本达到与 LLM 相当的性能；该方法也适用于其他标注不足的 Bio-NLP 问题。
研究结果：我们构建了一个主动学习框架，对 PubMedBERT 进行微调，用于将基因提及分类为软骨细胞分化的调控因子。在使用 1,238 个经过标注的句子的情况下，该模型实现了 0.93 的 ROC 曲线下面积（AUC-ROC）。与开放权重的大型语言模型（Qwen3、Llama-3.1）相比，PubMedBERT 在 AUC-ROC 方面达到了表现最佳的 LLM 的水平，并以 0.69 的精确率取得了所有模型中的最高值，同时对完整语料库进行分类的速度显著更快。在应用于 67,111 个基因提及后，该模型识别出 1,128 个候选调控因子，找回了 79% 的与软骨细胞分化相关且已由基因本体（Gene Ontology）注释的基因（共找回 94 个基因），并提出了 981 个新的候选因子。该流程与目标生物学过程无关，因此有望改用于识别其他生物学过程的调控因子。
可用性与实现：代码可从 https://github.com/ChondroTextomics/ALRegulatorDiscovery 获取。数据可从 Zenodo 获取：https://doi.org/10.5281/zenodo.22746090。最终模型可在 HuggingFace Hub 获取：amav/pubmedbert-chondrogenesis-classifier
补充信息：补充数据见单独文件
利益冲突声明
脚注
https://github.com/ChondroTextomics/ALRegulatorDiscovery
https://doi.org/10.5281/zenodo.22746090
https://huggingface.co/amav/pubmedbert-chondrogenesis-classifier
已声明的资助机构信息
生物技术与生物科学研究委员会
，BB/T008695/1
版权
本预印本的。
该预印本依据
CC-BY 4.0 国际许可协议
公开发布。
返回顶部
上一篇
下一篇
发布于 2026 年 9 月 29 日。
下载 PDF
补充材料
数据/代码
电子邮件
感谢您有兴趣传播 bioRxiv 上的内容。
您的电子邮件地址
*
您的姓名
*
发送至
*
请在不同行中输入多个地址，或使用逗号分隔地址。
您即将发送以下内容
一种通过主动学习发现软骨形成调控因子的低标注预算 PubMedBERT 分类器
（您的姓名）已将 bioRxiv 网站上的页面转发给您
邮件主题
（您的姓名）认为您可能会对 bioRxiv 网站上的此页面感兴趣。
邮件正文
您的个人留言
验证码
此问题用于测试您是否为人类访客，并防止自动垃圾邮件提交。
分享
一种通过主动学习发现软骨形成调控因子的低标注预算 PubMedBERT 分类器
Ana-Mariya Anhel
，
Mandy Jayne Peffers
，
David Young
，
Jamie Soul
bioRxiv
2026.09.24.754045；
doi：
https://doi.org/10.64898/2026.09.24.754045
分享本文：
复制
引文工具
一种通过主动学习发现软骨形成调控因子的低标注预算 PubMedBERT 分类器
Ana-Mariya Anhel
，
Mandy Jayne Peffers
，
David Young
，
Jamie Soul
bioRxiv
2026.09.24.754045；
doi：
https://doi.org/10.64898/2026.09.24.754045
📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.09.24.754045v1?rss=1
🏷️ 主动学习 PubMedBERT 生物医学自然语言处理 软骨形成调控因子 基因功能识别