- 8 次围观
我们提出了 RadMultiBench,这是一个多模态基准,包含 6,148 张医学影像及其对应的专家放射学印象,涵盖五个类别:乳腺癌、肺部良性病变、肺部恶性病变、肺炎和结核病,旨在评估两项核心临床任务:自动生成报告和疾病分类。为支持可靠、可重复的实验,我们提供了一套可复现的数据处理流程,涵盖数据导入、去标识化、数据集划分管理,以及文本与分类指标的标准化报告,从而便于数据集版本管理和持续基准测试。我们比较了三种架构:(1)采用 Bahdanau 注意力机制的经典 CNN-RNN(ResNet-LSTM);(2)通用领域的视觉-语言(V-L)前缀投影模型(CLIP-GPT);(3)特定领域的 V-L 前缀投影模型(BioViL-T)。结果显示,模型性能存在显著差距:ResNet-LSTM 的分类准确率接近完美(99.5%),且是唯一能够生成连贯报告的模型(BLEU-4 = 0.021);相比之下,两种前缀投影模型在报告生成任务上均遭遇灾难性失败(BLEU-4 ≤ 0.0001)。此外,特定领域模型 BioViL-T 在分类任务上也表现失败(准确率为 11.5%)。从数据工程角度看,该流程可通过引入数据血缘追踪、特征注册表和持续集成实现生产化,以防模型或数据更新时出现未被察觉的性能退化;从数据科学角度看,该基准提供了基线和分析,凸显特征对齐与架构适用性是首要考量,并为针对多模态目标、检索增强编码器和不确定性感知解码的消融实验提供了研究方向。总体而言,RadMultiBench 表明,在通用视觉-语言领域处于最先进水平,并不意味着能够自动胜任高风险临床任务;同时,该基准还提供了……开发稳健且具有临床可行性的多模态系统所需的工具和证据基础。
RadMultiBench:一项可复现的双任务基准测试,揭示预训练视觉—语言模型在胸部与乳腺影像领域的局限 | bioRxiv
跳转至主要内容
首页
关于
投稿
提醒 / RSS
搜索关键词
高级搜索
最新结果
RadMultiBench:一项可复现的双任务基准测试,揭示预训练视觉—语言模型在胸部与乳腺影像领域的局限
Md Nahin Alam、Md Tanjil Rahman、Devprosad Sarkar、Ahmed Faizul Haque Dhrubo、Mohammad Abdul Qayum、Mohammad Ashrafuzzaman Khan
doi:https://doi.org/10.64898/2026.11.04.764428
Md Nahin Alam
北南大学
在 Google Scholar 上查找此作者
在 PubMed 上查找此作者
在本站搜索此作者
Md Tanjil Rahman
北南大学
在 Google Scholar 上查找此作者
在 PubMed 上查找此作者
在本站搜索此作者
Devprosad Sarkar
北南大学
在 Google Scholar 上查找此作者
在 PubMed 上查找此作者
在本站搜索此作者
Ahmed Faizul Haque Dhrubo
北南大学
在 Google Scholar 上查找此作者
在 PubMed 上查找此作者
在本站搜索此作者
Ahmed Faizul Haque Dhrubo 的 ORCID 记录
通信作者:
ahmed.dhrubo{at}northsouth.edu
Mohammad Abdul Qayum
北南大学
在 Google Scholar 上查找此作者
在 PubMed 上查找此作者
在本站搜索此作者
Mohammad Ashrafuzzaman Khan
北南大学
在 Google Scholar 上查找此作者
在 PubMed 上查找此作者
在本站搜索此作者
摘要
信息/历史
指标
PDF 预览
摘要
我们提出 RadMultiBench,这是一个多模态基准测试,包含 6,148 张医学图像及其对应的专家放射学印象,涵盖五个类别:乳腺癌、肺部良性病变、肺部恶性病变、肺炎以及
结核病——聚焦两项核心临床任务:自动生成报告和疾病分类。为支持可靠且可重复的实验,我们提供了一套可复现流程,涵盖数据导入、去标识化、数据集划分管理,以及文本和分类指标的标准化报告,从而支持数据集版本管理与持续基准测试。我们比较了三种架构:(1)采用 Bahdanau 注意力机制的经典 CNN-RNN(ResNet-LSTM);(2)通用领域视觉-语言(V-L)前缀投影模型(CLIP-GPT);(3)特定领域视觉-语言前缀投影模型(BioViL-T)。结果显示,模型性能存在显著差距:ResNet-LSTM 的分类准确率接近完美(99.5%),且是唯一能够生成连贯报告的模型(BLEU-4 = 0.021);而两种前缀投影模型的报告生成均遭遇灾难性失败(BLEU-4 ≤ 0.0001)。此外,特定领域模型 BioViL-T 的分类任务也表现失败(准确率为 11.5%)。从数据工程角度看,该流程可通过引入血缘追踪、特征注册表和持续集成实现生产化,以防模型或数据更新时出现未被察觉的性能退化;从数据科学角度看,该基准提供了基线和分析,凸显特征对齐与架构适用性是首要考量,并为围绕多模态目标、检索增强编码器和不确定性感知解码开展消融实验提供了方向。总体而言,RadMultiBench 表明,在通用视觉-语言领域达到最先进水平,并不意味着能够自动胜任高风险临床任务;同时,它也提供了开发稳健且具备临床应用价值的多模态系统所需的工具和证据基础。
利益冲突声明
作者声明不存在利益冲突。
版权
版权持有人
对于本预印本,作者/资助方已授予 bioRxiv 永久展示该预印本的许可。
本预印本依据 CC-BY 4.0 国际许可协议提供。
返回顶部
上一篇
下一篇
发布于 2026 年 11 月 06 日。
下载 PDF
电子邮件
感谢您有意帮助传播 bioRxiv 上的内容。
注意:请求提供您的电子邮件地址,仅用于确认您是本文的发送者。
您的电子邮件地址
*
您的姓名
*
收件人
*
请在不同的行中输入多个地址,或使用逗号分隔。
您即将通过电子邮件发送以下内容
RadMultiBench:一项可复现的双任务基准测试,揭示预训练视觉语言模型在胸部与乳腺影像领域的局限性
邮件主题
(您的姓名)向您转发了 bioRxiv 网站上的一个页面
邮件正文
(您的姓名)认为您可能想查看 bioRxiv 网站上的这个页面。
您的个人留言
验证码
此问题用于测试您是否为真人访客,并防止自动垃圾信息提交。
分享
RadMultiBench:一项可复现的双任务基准测试,揭示预训练视觉语言模型在胸部与乳腺影像领域的局限性
Md Nahin Alam,
Md Tanjil Rahman,
Devprosad Sarkar,
Ahmed Faizul Haque Dhrubo,
Mohammad Abdul Qayum,
Mohammad Ashrafuzzaman Khan
bioRxiv
2026.11.04.764428;
doi:https://doi.org/10.64898/2026.11.04.764428
分享本文:
复制
引用工具
RadMultiBench:一项可复现的双任务基准测试,揭示预训练视觉语言模型在胸部与乳腺影像领域的局限性
Md Nahin Alam,
Md Tanjil Rahman,
Devprosad Sarkar,
Ahmed Faizul Haque Dhrubo,
Mohammad Abdul Qayum,
Mohammad Ashrafuzzaman Khan
bioRxiv
2026.11.04.764428;
doi:https://doi.org/10.64898/2026.11.04.764428
引文管理工具格式
BibTeX
Bookends
EasyBib
EndNote
(标签)
EndNote 8(XML)
Medlars
Mendeley
Papers
RefWorks Tagged
Ref Manager
RIS
Zotero
推文组件
Facebook 点赞
Google +1
学科领域
生物信息学
学科领域
所有文章
动物行为与认知
(8164)
生物化学
(19027)
生物工程
(15171)
生物信息学
(45776)
生物物理学
(22958)
癌症生物学
(20245)
细胞生物学
(27492)
临床试验
(138)
发育生物学
(14232)
生态学
(21524)
流行病学
(2067)
进化生物学
(25929)
遗传学
(16432)
基因组学
(23966)
免疫学
(19166)
微生物学
(43470)
分子生物学
(18477)
神经科学
(95801)
古生物学
(717)
病理学
(3063)
药理学与毒理学
(5251)
生理学
(8336)
植物生物学
(16374)
科学传播与教育
(2123)
合成生物学
(4675)
系统生物学
(10447)
动物学
(2436)
关键词:医学影像分析 · 视觉-语言模型 · 放射学报告生成 · 疾病分类 · 多模态基准测试 · 可复现性
原文链接:https://www.biorxiv.org/content/10.64898/2026.11.04.764428v1?rss=1