RadMultiBench:一个可复现的双任务基准,揭示预训练视觉-语言模型在胸部与乳腺影像中的局限性

由 root 提交于 周六, 11/07/2026 - 08:47
摘要

我们提出了 RadMultiBench,这是一个多模态基准,包含 6,148 张医学影像及其对应的专家放射学印象,涵盖五个类别:乳腺癌、肺部良性病变、肺部恶性病变、肺炎和结核病,旨在评估两项核心临床任务:自动生成报告和疾病分类。为支持可靠、可重复的实验,我们提供了一套可复现的数据处理流程,涵盖数据导入、去标识化、数据集划分管理,以及文本与分类指标的标准化报告,从而便于数据集版本管理和持续基准测试。我们比较了三种架构:(1)采用 Bahdanau 注意力机制的经典 CNN-RNN(ResNet-LSTM);(2)通用领域的视觉-语言(V-L)前缀投影模型(CLIP-GPT);(3)特定领域的 V-L 前缀投影模型(BioViL-T)。结果显示,模型性能存在显著差距:ResNet-LSTM 的分类准确率接近完美(99.5%),且是唯一能够生成连贯报告的模型(BLEU-4 = 0.021);相比之下,两种前缀投影模型在报告生成任务上均遭遇灾难性失败(BLEU-4 ≤ 0.0001)。此外,特定领域模型 BioViL-T 在分类任务上也表现失败(准确率为 11.5%)。从数据工程角度看,该流程可通过引入数据血缘追踪、特征注册表和持续集成实现生产化,以防模型或数据更新时出现未被察觉的性能退化;从数据科学角度看,该基准提供了基线和分析,凸显特征对齐与架构适用性是首要考量,并为针对多模态目标、检索增强编码器和不确定性感知解码的消融实验提供了研究方向。总体而言,RadMultiBench 表明,在通用视觉-语言领域处于最先进水平,并不意味着能够自动胜任高风险临床任务;同时,该基准还提供了……开发稳健且具有临床可行性的多模态系统所需的工具和证据基础。

RadMultiBench:一项可复现的双任务基准测试,揭示预训练视觉—语言模型在胸部与乳腺影像领域的局限 | bioRxiv

跳转至主要内容

首页

关于

投稿

提醒 / RSS

搜索关键词

高级搜索

最新结果

RadMultiBench:一项可复现的双任务基准测试,揭示预训练视觉—语言模型在胸部与乳腺影像领域的局限

Md Nahin Alam、Md Tanjil Rahman、Devprosad Sarkar、Ahmed Faizul Haque Dhrubo、Mohammad Abdul Qayum、Mohammad Ashrafuzzaman Khan

doi:https://doi.org/10.64898/2026.11.04.764428

Md Nahin Alam

北南大学

在 Google Scholar 上查找此作者

在 PubMed 上查找此作者

在本站搜索此作者

Md Tanjil Rahman

北南大学

在 Google Scholar 上查找此作者

在 PubMed 上查找此作者

在本站搜索此作者

Devprosad Sarkar

北南大学

在 Google Scholar 上查找此作者

在 PubMed 上查找此作者

在本站搜索此作者

Ahmed Faizul Haque Dhrubo

北南大学

在 Google Scholar 上查找此作者

在 PubMed 上查找此作者

在本站搜索此作者

Ahmed Faizul Haque Dhrubo 的 ORCID 记录

通信作者:

ahmed.dhrubo{at}northsouth.edu

Mohammad Abdul Qayum

北南大学

在 Google Scholar 上查找此作者

在 PubMed 上查找此作者

在本站搜索此作者

Mohammad Ashrafuzzaman Khan

北南大学

在 Google Scholar 上查找此作者

在 PubMed 上查找此作者

在本站搜索此作者

摘要

信息/历史

指标

PDF 预览

摘要

我们提出 RadMultiBench,这是一个多模态基准测试,包含 6,148 张医学图像及其对应的专家放射学印象,涵盖五个类别:乳腺癌、肺部良性病变、肺部恶性病变、肺炎以及

结核病——聚焦两项核心临床任务:自动生成报告和疾病分类。为支持可靠且可重复的实验,我们提供了一套可复现流程,涵盖数据导入、去标识化、数据集划分管理,以及文本和分类指标的标准化报告,从而支持数据集版本管理与持续基准测试。我们比较了三种架构:(1)采用 Bahdanau 注意力机制的经典 CNN-RNN(ResNet-LSTM);(2)通用领域视觉-语言(V-L)前缀投影模型(CLIP-GPT);(3)特定领域视觉-语言前缀投影模型(BioViL-T)。结果显示,模型性能存在显著差距:ResNet-LSTM 的分类准确率接近完美(99.5%),且是唯一能够生成连贯报告的模型(BLEU-4 = 0.021);而两种前缀投影模型的报告生成均遭遇灾难性失败(BLEU-4 ≤ 0.0001)。此外,特定领域模型 BioViL-T 的分类任务也表现失败(准确率为 11.5%)。从数据工程角度看,该流程可通过引入血缘追踪、特征注册表和持续集成实现生产化,以防模型或数据更新时出现未被察觉的性能退化;从数据科学角度看,该基准提供了基线和分析,凸显特征对齐与架构适用性是首要考量,并为围绕多模态目标、检索增强编码器和不确定性感知解码开展消融实验提供了方向。总体而言,RadMultiBench 表明,在通用视觉-语言领域达到最先进水平,并不意味着能够自动胜任高风险临床任务;同时,它也提供了开发稳健且具备临床应用价值的多模态系统所需的工具和证据基础。

利益冲突声明

作者声明不存在利益冲突。

版权

版权持有人

对于本预印本,作者/资助方已授予 bioRxiv 永久展示该预印本的许可。

本预印本依据 CC-BY 4.0 国际许可协议提供。

返回顶部

上一篇

下一篇

发布于 2026 年 11 月 06 日。

下载 PDF

电子邮件

感谢您有意帮助传播 bioRxiv 上的内容。

注意:请求提供您的电子邮件地址,仅用于确认您是本文的发送者。

您的电子邮件地址

*

您的姓名

*

收件人

*

请在不同的行中输入多个地址,或使用逗号分隔。

您即将通过电子邮件发送以下内容

RadMultiBench:一项可复现的双任务基准测试,揭示预训练视觉语言模型在胸部与乳腺影像领域的局限性

邮件主题

(您的姓名)向您转发了 bioRxiv 网站上的一个页面

邮件正文

(您的姓名)认为您可能想查看 bioRxiv 网站上的这个页面。

您的个人留言

验证码

此问题用于测试您是否为真人访客,并防止自动垃圾信息提交。

分享

RadMultiBench:一项可复现的双任务基准测试,揭示预训练视觉语言模型在胸部与乳腺影像领域的局限性

Md Nahin Alam,

Md Tanjil Rahman,

Devprosad Sarkar,

Ahmed Faizul Haque Dhrubo,

Mohammad Abdul Qayum,

Mohammad Ashrafuzzaman Khan

bioRxiv

2026.11.04.764428;

doi:https://doi.org/10.64898/2026.11.04.764428

分享本文:

复制

引用工具

RadMultiBench:一项可复现的双任务基准测试,揭示预训练视觉语言模型在胸部与乳腺影像领域的局限性

Md Nahin Alam,

Md Tanjil Rahman,

Devprosad Sarkar,

Ahmed Faizul Haque Dhrubo,

Mohammad Abdul Qayum,

Mohammad Ashrafuzzaman Khan

bioRxiv

2026.11.04.764428;

doi:https://doi.org/10.64898/2026.11.04.764428

引文管理工具格式

BibTeX

Bookends

EasyBib

EndNote

(标签)

EndNote 8(XML)

Medlars

Mendeley

Papers

RefWorks Tagged

Ref Manager

RIS

Zotero

推文组件

Facebook 点赞

Google +1

学科领域

生物信息学

学科领域

所有文章

动物行为与认知

(8164)

生物化学

(19027)

生物工程

(15171)

生物信息学

(45776)

生物物理学

(22958)

癌症生物学

(20245)

细胞生物学

(27492)

临床试验

(138)

发育生物学

(14232)

生态学

(21524)

流行病学

(2067)

进化生物学

(25929)

遗传学

(16432)

基因组学

(23966)

免疫学

(19166)

微生物学

(43470)

分子生物学

(18477)

神经科学

(95801)

古生物学

(717)

病理学

(3063)

药理学与毒理学

(5251)

生理学

(8336)

植物生物学

(16374)

科学传播与教育

(2123)

合成生物学

(4675)

系统生物学

(10447)

动物学

(2436)

关键词:医学影像分析 · 视觉-语言模型 · 放射学报告生成 · 疾病分类 · 多模态基准测试 · 可复现性

原文链接:https://www.biorxiv.org/content/10.64898/2026.11.04.764428v1?rss=1