- 3 次围观
Agentic大语言模型正日益广泛地应用于基因组学工作流程的各个环节，从变异检测到临床解读皆然；然而，对它们的评估却仅限于准确性这一单一指标，而这一单一数值既无法说明系统是否安全，也无法指出工作流程中的失败究竟源于何处。我们提出了ClawBench，这是一个可将每个结果归因于产生该结果的架构层的框架，并覆盖经典流程的两个半程。两项设计选择消除了使代理型基因组学难以评估的混杂因素：其一是时间盲真值集，其中每一个被评分的ClinVar标签首次可获得的时间都晚于所有受测模型的训练截止时间；其二是失效封闭的证据契约，该契约阻止与真值标签循环互证的证据进入系统。我们评估的是有效性、安全性、溯源性和可复现性，而不仅仅是准确性；这一评估是在一个约束梯度之下进行的，该梯度将正确性的来源从模型的先验知识转移到已执行且经验证的代码上。我们展示了三点。第一，危险性误分类罕见且不随模型而变化，它是已执行架构的一种受控前提条件，而非前沿能力问题；与此同时，捏造证据是可测量的，并且可通过执行机制予以消解。第二，不同变异类别受制于不同的架构层：功能缺失变异受限于确定性组合器阈值，而罕见错义变异受限于证据形成；在后者中，证据获取具有不对称性且存在上限，而证据强度赋值是一个可恢复的层，然而朴素的强度授权提示会将其混淆。第三，在变异检测任务中，各分支的差异并不在于模型是否能够规划一条流程——这一点所有模型都能做到——而在于其信任属性、固定化、溯源性、可审计性和可复现性；这些性质会随着向经验证执行的推进而单调提升。并且，一个本地开源权重模型能够复现安全性结果，但其满足结构化输出与溯源契约的频率远低于前沿模型，这体现的是一致性差距，而非能力差距或安全性差距。端到端联合分析能够对整个工作流程中的失败进行归因，将漏检、传播性的基因型错误，以及变异虽被正确检测但被错误解读这三类情况区分开来。
m.corpas{at}westminster.ac.uk
摘要 信息/历史 指标 数据/代码 预览 PDF
摘要 具备代理能力的大型语言模型正日益广泛应用于基因组学工作流程的各个环节，从变异检测到临床解读；然而，对它们的评估仍仅限于准确率这一单一指标。单一数值既无法说明一个系统是否安全，也无法指出工作流程中故障究竟源于哪个环节。我们提出了 ClawBench，这是一个框架，能够将每一个结果归因到在经典流程两大阶段中产生该结果的体系结构层。两项设计选择消除了使代理式基因组学难以评估的混杂因素：其一是时间盲真值集，其中每一个被评分的 ClinVar 标签都仅在所有受测模型训练截止时间之后才首次可获得；其二是失效即封闭的证据契约，用以阻止与真值标签形成循环的证据。我们不仅评估准确率，还在一种约束梯度下评估有效性、安全性、来源可追溯性和可复现性；该约束梯度将正确性的来源从模型的先验知识转移到已执行且经验证的代码之中。
我们展示了三点。第一，危险性误分类罕见且与模型无关；它是已执行架构的一个受控前提条件，而非前沿能力；与此同时，伪造证据是可测量的，并且可通过执行加以消除。第二，不同类别的变异受到不同层级的速率限制：功能缺失变异受确定性组合器阈值限制，而罕见错义变异受证据形成限制；在后者中，证据获取具有不对称性且存在上限，而强度赋值是一个可恢复的层级，幼稚的强度许可提示会将其混淆。第三，对于变异检测而言，各分支的差异并不在于模型是否能够规划流程——这一点所有模型都能做到——而在于信任属性、固定性、来源追踪、可审计性和可重复性；这些特征会随着朝向经验证执行的推进而单调提升。并且，一个持有人为作者/资助方，其已授予 bioRxiv 永久展示该预印本的许可。 本文依据 CC-BY 4.0 国际许可协议 公开提供。
返回顶部 上一页 下一页
发表于 2026年7月5日。 下载 PDF 数据/代码 电子邮件
感谢您有兴趣帮助传播 bioRxiv。 您的电子邮件 *
您的姓名 *
发送至 *
请输入多个地址，每行一个，或用逗号分隔。
您将要通过电子邮件发送以下内容 用于 ACMG/AMP 变异解读与变异检测的大语言模型基准测试
邮件主题 （您的姓名）已从 bioRxiv 向您转发了一个页面
邮件正文 （您的姓名）认为您可能希望查看 bioRxiv 网站上的此页面。
您的个人留言
验证码 此问题用于测试您是否为人类访客，并防止自动化垃圾信息提交。
分享 用于 ACMG/AMP 变异解读与变异检测的大语言模型基准测试
Manuel Corpas
bioRxiv 2026.06.30.735646； doi： https://doi.org/10.64898/2026.06.30.735646
分享本文： 复制
引文工具 用于 ACMG/AMP 变异解读与变异检测的大语言模型基准测试
Manuel Corpas
bioRxiv 2026.06.30.735646； doi： https://doi.org/10.64898/2026.06.30.735646
📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.06.30.735646v1?rss=1
🏷️ 大语言模型 变异解读 变异检测 ACMG/AMP标准 基因组学评测 临床基因组学