LifeSciBench：在生命科学领域真实且专家级任务上评估语言模型

我们提出了 LifeSciBench，这是一个由专家编写、包含 750 项任务的基准，用于评估语言模型是否能够胜任真实的生命科学研究工作。现有大多数生命科学基准要么范围狭窄，要么纯粹基于知识，因此无法捕捉现实世界研究的复杂性；而现实研究通常涉及模糊性，并要求准确执行多个相互依赖的判断决策。此外，几乎所有现有基准至多只覆盖生命科学中的少量子领域；目前尚不存在一个同时具备足够广度和深度、能够令人信服地衡量模型在现实专业研究环境中熟练程度的生命科学基准。 LifeSciBench 通过覆盖七类具有代表性的科学工作流程和七个生命科学领域来填补这一空白，并且其中每一项任务都配有由人类专家撰写的评分细则。在五个前沿模型和领域专用模型中，GPT-Rosalind 表现最佳，其按任务加权的归一化评分细则平均得分为 0.576，按任务加权的响应通过率为 36.1%（先在每项任务内部对响应层面的数值取平均，再将所得任务层面的数值以相等权重求平均）。LifeSciBench 仍远未达到饱和状态，其中有 171 项任务（22.8%）在所有被评估模型中都没有观察到任何通过的响应，另有 261 项任务（34.8%）的最佳模型通过率低于 20%。因此，LifeSciBench 可作为对生命科学中实用科学推理与操作性决策能力的高分辨率评估。

我们提出了 LifeSciBench，这是一个由 750 个专家撰写任务组成的基准，旨在评估语言模型是否能够处理真实的生命科学研究工作。现有的大多数生命科学基准要么范围狭窄，要么纯粹基于知识，因此无法捕捉现实世界研究的复杂性；而现实研究通常涉及歧义，并要求准确执行多个相互依赖的判断。此外，几乎所有现有基准至多只覆盖生命科学中的少量子领域；目前尚不存在一个同时具备足够广度和深度、能够令人信服地衡量真实专业研究环境中熟练程度的生命科学基准。LifeSciBench 通过覆盖七类具有代表性的科学工作流程和七个生命科学领域来填补这一空白，并且其中每个组成任务都配有由人类专家编写的评分细则。在五个前沿模型和领域专用模型中，GPT-Rosalind 表现最佳，其按任务加权的平均归一化评分细则得分为 0.576，按任务加权的回答通过率为 36.1%（先在每个任务内部对回答层面的数值取平均，再将得到的任务层面数值以相同权重取平均）。LifeSciBench 仍未趋于饱和，其中有 171 个任务（22.8%）在所有被评估模型中均未观察到任何通过的回答，且有 261 个任务（34.8%）的最佳模型通过率低于 20%。因此，LifeSciBench 可作为对生命科学中实用科学推理与操作性决策能力的高分辨率评估。

📄 原文链接：https://www.biorxiv.org/content/10.64898/2026.08.13.744657v1?rss=1

🏷️ 生命科学基准 大语言模型评测 专家级任务 科学工作流 模型能力评估